搜尋
清除搜尋內容
關閉搜尋框
Google 應用程式
主選單

使用 robots.txt 封鎖網址

瞭解 robots.txt 檔案

robots.txt 檔案位於網站根目錄,能夠向搜尋引擎檢索器表明您不希望檢索器存取的網站內容。這種檔案採用漫遊器排除標準,這是內含少數指令的通訊協定,可依照網站各部分和特定的網路檢索器類型 (例如行動檢索器和電腦檢索器),表明可存取的網站內容。

robots.txt 的用途為何?

非圖片檔

如果是非圖片檔 (也就是網頁),您應該將 robots.txt 僅用於控制檢索流量此一用途,因為通常您不會希望 Google 檢索器造成您伺服器流量不堪負荷,或是將檢索預算浪費在您網站上那些不重要或類似的網頁上。如果您不想讓自己的網頁顯示在 Google 搜尋結果中,請不要以 robots.txt 做為隱藏網頁的方法。 因為其他網頁可能會指向您的網頁,導致我們為您的網頁建立索引,進而讓 robots.txt 檔案無用武之地。如果您想禁止自己的網頁出現在搜尋結果中,請使用其他方法 (例如密碼保護或 noindex 標記或指令)。

圖片檔

robots.txt「確實」會防止圖片檔出現在 Google 搜尋結果中,但不會防止其他網頁或使用者連結至您的圖片。

資源檔案

如果您認為載入網頁時略過不重要的圖片、指令碼或樣式檔案等資源,並不會造成太大的影響,那麼您可以使用 robots.txt 來封鎖這些資源檔案。但如果缺少了這些資源會造成 Google 檢索器在解譯上的困難,則我們建議您不要封鎖這些資源,否則 Google 會無法正確分析需要仰賴這些資源的網頁。

瞭解 robots.txt 的限制

建立 robots.txt 前請注意,只用 robots.txt 封鎖網址是有風險的。建議您有時可採用其他機制,確保無人能透過網路搜尋到您的網址。

  • Robots.txt 的指示一律是指令

    robots.txt 檔案中的指示無法強制規範檢索器對網站所採取的行為;這些指示其實是檢索器在存取您的網站時會接收到的指令。Googlebot 和一些正派的網路檢索器都會按照 robots.txt 檔案中的指示去做,但不是每個檢索器都是如此。因此,如要確保特定資訊不會受到網路檢索器存取,建議您使用其他封鎖方式,例如使用受密碼保護的伺服器存放私人檔案
  • 各種檢索器解讀語法的方式有所不同

    雖然正派的網路檢索器都會遵照 robots.txt 檔案中的指令去做,但各種檢索器解讀指令的方式可能有些不同。請注意不同網路檢索器所適用的語法 (有些網路檢索器可能無法理解特定指示)。
  • robots.txt 指令無法禁止其他網站參照您的網址

    雖然 Google 不會對 robots.txt 所封鎖的內容進行檢索或建立索引,但如果我們在網路上的其他網頁中發現封鎖的網址,仍然會建立這些網址的索引。因此,網頁網址以及其他可能的公開資訊 (例如網站連結中的錨點文字) 仍然會出現在 Google 搜尋結果中。如要完全避免這種情形,請使用其他封鎖網址方法,例如使用密碼保護伺服器上的檔案使用 noindex 中繼標記或回應標頭
注意:將多個檢索和索引指令搭配使用時,可能會造成部分指令之間出現相互抵消的情形。如要進一步瞭解如何適當運用這些指令,請參閱 Google 開發人員說明文件的整合檢索和索引/服務指令部分
這篇文章實用嗎?