使用 robots.txt 封鎖網址

瞭解 robots.txt 檔案

robots.txt 檔案位於網站根目錄,能夠向搜尋引擎檢索器表明您不希望檢索器存取的網站內容。這種檔案採用漫遊器排除標準,這是內含少數指令的通訊協定,可依照網站各部分和特定的網路檢索器類型 (例如行動檢索器和電腦檢索器),表明可存取的網站內容。

只有當您網站中包含您不希望 Google 或其他搜尋引擎編入索引的內容時,您才會需要 robots.txt 檔案。

如要測試 Google 可以存取您網站上的哪些網址,又不能存取哪些網址,請嘗試使用 robots.txt 測試工具

瞭解 robots.txt 的限制

建立 robots.txt 前請注意,只用 robots.txt 封鎖網址是有風險的。建議您有時可採用其他機制,確保無人能透過網路搜尋到您的網址。

  • Robots.txt 的指示一律是指令

    robots.txt 檔案中的指示無法強制規範檢索器對網站所採取的行為;這些指示其實是檢索器在存取您的網站時會接收到的指令。Googlebot 和一些正派的網路檢索器都會按照 robots.txt 檔案中的指示去做,但不是每個檢索器都是如此。因此,如要確保特定資訊不會受到網路檢索器存取,建議您使用其他封鎖方式,例如使用受密碼保護的伺服器存放私人檔案
  • 各種檢索器解讀語法的方式有所不同

    雖然正派的網路檢索器都會遵照 robots.txt 檔案中的指令去做,但各種檢索器解讀指令的方式可能有些不同。請注意不同網路檢索器所適用的語法 (有些網路檢索器可能無法理解特定指示)。
  • robots.txt 指令無法禁止其他網站參照您的網址

    雖然 Google 不會對 robots.txt 所封鎖的內容進行檢索或建立索引,但如果我們在網路上的其他網頁中發現封鎖的網址,仍然會建立這些網址的索引。因此,網頁網址以及其他可能的公開資訊 (例如網站連結中的錨點文字) 仍會出現在 Google 搜尋結果中。如要完全避免這種情形,請使用 robots.txt 輔以其他封鎖網址方法,例如使用密碼保護伺服器上的檔案在 HTML 中插入索引指令中繼標記
注意:將多個檢索和索引指令搭配使用時,可能會造成部分指令之間出現相互抵消的情形。如要進一步瞭解如何適當運用這些指令,請參閱 Google 開發人員說明文件的整合檢索和索引/服務指令部分
這篇文章實用嗎?