使用 robots.txt 測試工具檢測 robots.txt

robots.txt 測試工具會顯示你的 robots.txt 檔案是否封鎖了 Google 的網路檢索器，使其無法檢索網站上的特定網址。舉例來說，如果你不希望某張圖片出現在 Google 的圖片搜尋結果中，即可使用這項工具測試 Googlebot-Image 檢索器是否能夠檢索該圖片的網址。

 

開啟 robots.txt 測試工具

 

你可以在 robots.txt 測試工具中提交網址，該工具會模擬 Googlebot 的行為來檢查 robots.txt 檔案，確認網址是否受到封鎖。

測試 robots.txt 檔案

1. 開啟網站的測試工具，然後捲動瀏覽 robots.txt 程式碼，找出醒目顯示的語法警告和邏輯錯誤。編輯器下方會即時顯示語法警告和邏輯錯誤的數量。
2. 在網頁底部的文字方塊中輸入網站網頁的網址。
3. 在文字方塊右側的下拉式清單中，選取想要模擬的使用者代理程式。
4. 按一下 [測試] 按鈕來測試存取情況。
5. 查看 [測試] 按鈕顯示的字樣目前是「可接受」還是「已封鎖」，即可瞭解你輸入的網址是否已封鎖 Google 網路檢索器。
6. 在測試工具頁面中編輯 robots.txt 檔案，並視需要重新測試。請注意，系統不會將該頁面中的變更儲存至你的網站！請參閱下一步。
7. 將所做變更複製到網站的 robots.txt 檔案中。這項工具不會對網站的實際檔案做出變更，只會針對工具代管的複本進行測試。

使用 robots.txt 測試工具的注意事項：

• 這項工具僅適用於網址前置字元資源，不適用於網域資源。
• 工具編輯器中的變更不會自動儲存到你的網路伺服器。如要儲存任何變更，您必須複製編輯器中的內容，將其貼入 robots.txt 檔案並儲存在伺服器上。
• robots.txt 測試工具只能模擬 Google 使用者代理程式或網路檢索器 (例如 Googlebot) 測試 robots.txt 的結果。我們無法預測其他網路檢索器如何解讀你的 robots.txt 檔案。