Google 檢索器 (使用者代理程式)

瞭解 Google 使用哪些漫遊器來檢索網路

「檢索器」一詞是指任何用以自動找尋網站、追蹤網頁連結,然後逐頁進行掃描的程式 (例如,漫遊器或自動尋檢程式)。Google 使用的主要檢索器是 Googlebot。下表列出了參照記錄中可能包含的一般 Google 檢索器,以及如何在 robots.txtrobots 中繼標記 和 X-Robots-Tag HTTP 指令中指定這些檢索器的相關資訊。

下表列出了各種 Google 產品和服務使用的檢索器:

  • 使用者代理程式憑證用於 robots.txt 中的 User-agent: 一行,可供系統在寫入網站的檢索規則時比對檢索器類型。有些檢索器具有多個憑證 (如下表所示),對於這類檢索器,您只需要對應其中一個檢索器憑證,即可套用規則。這份清單並不完整,但已涵蓋大部分您可能在網站中看到的檢索器。
  • 完整的使用者代理程式字串是檢索器的完整說明,會出現在檢索要求和您的網路記錄中。
這些值可能會遭到假冒。 如要驗證訪客確實是 Googlebot,請使用反向 DNS 查詢
檢索器 使用者代理程式憑證 (產品憑證) 完整的使用者代理程式字串
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(檢查 Android 網頁廣告品質)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux;Android 5.0S;M-G920A) AppleWebKit (KHTML,例如 Gecko) Chrome Mobile Safari (相容;AdsBot-Google-Mobile;+http://www.google.com/mobile/adsbot.html)

AdsBot 行動網路

(檢查 iPhone 網頁廣告品質)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 例如 Mac OS X) AppleWebKit/601.1.46 (KHTML,例如 Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (相容;AdsBot-Google-Mobile;+http://www.google.com/mobile/adsbot.html)

AdsBot

(檢查電腦網頁廣告品質)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot 圖片
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot 新聞
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot 影片
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (電腦)

Googlebot

  • Mozilla/5.0 (相容;Googlebot/2.1;+http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML,例如 Gecko;相容;Googlebot/2.1;+http://www.google.com/bot.html) Safari/537.36

    或 (鮮少使用):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (智慧型手機)

Googlebot

 

Mozilla/5.0 (Linux;Android 6.0.1;Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML,例如 Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (相容;Googlebot/2.1;+http://www.google.com/bot.html)

AdSense 行動服務

Mediapartners-Google

(各種行動裝置類型) (相容;Mediapartners-Google/2.1+http://www.google.com/bot.html)

Android 版行動應用程式

(檢查 Android 應用程式頁面廣告品質,遵循 AdsBot-Google 漫遊器規則。)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

不會遵循 robots.txt 規則 - 瞭解原因

FeedFetcher-Google;(+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

不會遵循 robots.txt 規則 - 瞭解原因

  • 現行代理程式:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • 前任代理程式 (已淘汰):
    google-speakr

robots.txt 中的使用者代理程式

如果 Google 在 robots.txt 檔案中發現多個使用者代理程式,將會採用檢索條件最詳細者。若想開放所有的 Google 檢索器檢索您的網頁,則不必使用 robots.txt 檔案。指定 Googlebot 做為使用者代理程式,即可封鎖或允許所有 Google 檢索器存取您的部分內容。舉例來說,如果您想讓 Google 搜尋顯示您所有的網頁,並在頁面中顯示 AdSense 廣告,就不需要使用 robots.txt。同樣地,如果您想要一併封鎖某些網頁,只要封鎖使用者代理程式 Googlebot,就會一併封鎖所有其他 Google 使用者代理程式。

不過,您也可以指定更精確的檢索條件,進一步管理搜尋結果。例如,您可能希望所有的網頁都出現在 Google 搜尋結果中,但不開放檢索您個人目錄下的圖片。這時候,可使用 robots.txt 封鎖使用者代理程式 Googlebot-image 對個人目錄下檔案的檢索,同時允許 Googlebot 檢索所有檔案,範例如下:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
再舉另一個例子:假如您希望在所有網頁中顯示廣告,但不要顯示在 Google 搜尋中,您可以封鎖 Googlebot,但允許 Mediapartners-Google 進行檢索,範例如下:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

robots 中繼標記中的使用者代理程式

部分網頁會使用多個 robots meta 標記為不同的檢索器設定相關指令,例如:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

在這種情況下,Google 會合併處理否定性質的指令,而 Googlebot 將遵循 noindexnofollow 指令。進一步瞭解如何控制 Google 對您的網站進行檢索及建立索引。

這對您有幫助嗎?
我們應如何改進呢?