關於 robots.txt

透過 robots.txt 測試工具來測試 robots.txt

robots.txt 測試工具會顯示您的 robots.txt 檔案是否封鎖了 Google 的網路檢索器,使其無法檢索您網站上的特定網址。舉例來說,如果您不希望某張圖片出現在 Google 的圖片搜尋結果中,即可使用這項工具測試 Googlebot-Image 檢索器是否能夠檢索該圖片的網址。

 

開啟 robots.txt 測試工具

 

您可以在 robots.txt 測試工具中提交網址。該工具會模擬 Googlebot 的行為來檢查您的 robots.txt 檔案,確認您的網址是否受到封鎖。

測試 robots.txt 檔案

  1. 為您的網站開啟測試工具,然後捲動瀏覽 robots.txt 程式碼畫面,找出醒目顯示的語法警告邏輯錯誤編輯器下方會即時顯示語法警告和邏輯錯誤的數量。
  2. 在網頁底部的文字方塊中輸入網站網頁的網址。
  3. 在文字方塊右側的下拉式清單中,選取您想要模擬的使用者代理程式
  4. 按一下 [測試] 按鈕來測試存取情況。
  5. 查看 [測試] 按鈕顯示的字樣目前是已接受還是已封鎖,即可瞭解您輸入的網址是否已封鎖 Google 網路檢索器。
  6. 在頁面中編輯檔案,並視需要重新測試。請注意,系統不會將該頁面中的變更儲存至您的網站! 請參閱下一步。
  7. 將您所做的變更複製到網站的 robots.txt 檔案中。這項工具不會對網站的實際檔案做出變更,只會針對工具代管的複本進行測試。

使用 robots.txt 測試工具的注意事項:

  • 您在工具編輯器中所做的變更,都不會自動儲存到您的網路伺服器中。如要儲存任何變更,您必須複製編輯器中的內容,將其貼入 robots.txt 檔案並儲存在伺服器上。
  • robots.txt 測試工具只能模擬 Google 使用者代理程式或網路檢索器 (例如 Googlebot) 測試 robots.txt 的結果。我們無法預測其他網路檢索器是如何解讀您的 robots.txt 檔案。
這篇文章實用嗎?
我們應如何改進呢?