robots.txt 是一種文字檔案的名稱，這種文字檔案會告訴搜尋引擎不要檢索網站上的哪些網址或目錄。其中設定的規則，可以針對特定檢索器 (或所有檢索器)「封鎖」個別網址或整個目錄。該檔案是由網站擁有者建立，儲存在網站的主目錄中，用於避免網站為了沒有必要顯示在搜尋結果中的非重要網頁，浪費時間和效能為檢索要求提供網頁或資源 (例如圖片)。如果是小型網站，則可能不需要 robots.txt 檔案。
請勿使用 robots.txt 來防止網頁顯示在搜尋結果中，這種檔案只用於禁止檢索。如要防止網頁或圖片顯示在搜尋結果中，請使用其他技術。進一步瞭解 robots.txt