Google クローラ

Google がウェブをクロールするために使用するロボットをご紹介します

「クローラ」は、ウェブページ間のリンクをたどることによってウェブサイトを自動的に検出してスキャンするプログラム(ロボットやスパイダーなど)の総称です。Google のメインのクローラは Googlebot と呼ばれます。次の表に、リファラーログに表示される可能性のある一般的な Google のクローラと、robots.txtrobots メタタグ、X-Robots-Tag HTTP ディレクティブでそのクローラをどのように指定するかについて示します。

次の表では、robots.txt の User-agent: 行で使用されるユーザー エージェント トークンが、対応するクローラと並記されています。表に示すように、いくつかのクローラには対応するトークンが複数ありますが、1 つのクローラに対し、トークンを 1 つだけ選んで使用する必要があります。

クローラ ユーザー エージェント トークン(robots.txt で使用) 完全なユーザー エージェント文字列(ウェブサイトのログファイルに表示)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google

モバイルウェブ Android 用 AdsBot

(Android のウェブページの広告品質をチェックします)

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

モバイルウェブ用 AdsBot

(iPhone のウェブページの広告品質をチェックします)

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(パソコンのウェブページの広告品質をチェックします)

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
画像用 Googlebot
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
ニュース用 Googlebot
  • Googlebot-News
  • Googlebot
Googlebot-News
動画用 Googlebot
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot

(パソコン)

  • Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

または(まれに使用):

Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(スマートフォン)

  • Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

モバイル AdSense
  • Mediapartners-Google
(各種モバイル端末)compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html

モバイルアプリ Android

(Android のアプリページの広告品質をチェックします。AdsBot-Google ロボットルールに従います)

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

robots.txt のユーザー エージェント

robots.txt ファイルの中で、複数のユーザー エージェントが見つかった場合は、最も限定的なものに従って Google のクロールが行われます。サイトのページをすべてクロールさせたい場合は、robots.txt ファイルを作成する必要はありません。一部のコンテンツに対して Google のクローラによるアクセスをブロックまたは許可する場合は、Googlebot をユーザー エージェントとして指定します。たとえば、サイトのどのページも Google 検索結果に表示されるようにしたい場合や、AdSense 広告をサイトのページ上に表示したい場合は、robots.txt ファイルは必要ありません。また、一部のページに対して Google からのアクセスを一切ブロックしたい場合は、ユーザー エージェント Googlebot をブロックすると、Google の他のユーザー エージェントもすべてブロックされます。

さらに細かくコントロールしたい場合は、より限定的に指定します。たとえば、サイトのページを Google 検索結果に表示させても、/personal ディレクトリにある画像はクロールの対象外にしたい場合があります。その場合、robots.txt を使用して、ユーザー エージェント Googlebot-image による /personal ディレクトリ内のファイルのクロールを禁止する(一方で、Googlebot にはすべてのファイルのクロールを許可する)ように指定します。次に例を示します。

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
別の例として、サイトのすべてのページに広告を表示させても、ページを Google 検索結果には表示したくない場合が考えられます。その場合は、次のように、Googlebot をブロックし、Mediapartners-Google によるアクセスは許可します。
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

robots meta タグのユーザー エージェント

ページによっては、次のように、複数の robots meta タグを使用してクローラごとにディレクティブを指定することもあります。

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

このような場合、Google はすべての不許可ディレクティブに従います。つまり、Googlebot は noindexnofollow の両方のディレクティブに従います。Google によるサイトのクロール方法とインデックス登録方法の管理について詳細をご確認ください。

この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。