検索
検索をクリア
検索終了
Google アプリ
メインメニュー

Googlebot かどうかの確認

サーバーへのウェブクローラからのアクセスが本当に Googlebot(または別の Google のユーザー エージェント)によるものかどうかを確認できます。この方法は、スパマーなどが Googlebot であると称してサイトにアクセスしていないかを知りたい場合に便利です。Google では、ウェブマスターがホワイトリストに登録する IP アドレスの公開リストを掲載していません。こうした IP アドレスの範囲には変更の可能性があり、ウェブマスターが IP アドレスを直接入力すると問題が発生するからです。そのため、次のようにして DNS ルックアップを実施する必要があります。

Googlebot が呼び出し元であることを確認するには:

  1. ログにアクセスが記録されている IP アドレスについて、host コマンドを使用して DNS リバース ルックアップを実施します。
  2. ドメイン名が googlebot.com または google.com であることを確認します。
  3. 手順 1 で取得したドメイン名で host コマンドを使用して、取得したドメイン名について DNS フォワード ルックアップを実施します。これがログにアクセスが記録されていた元の IP アドレスと同じかどうか確認します。

例 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

例 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。
false