ウェブサイトの管理

AdSense クローラ エラー

サイトを十分にクロールに対応させることで、サイトのコンテンツによって生み出される収益を増加させることができます。サイトが確実にクロールされるようにするには、以下に詳述する、クロールに影響する可能性のあるすべての問題について考慮する必要があります。さらに詳しくは、AdSense クローラについてをご確認ください。

Google のクローラが robots.txt にアクセスできるようにする

Google のクローラが対象のサイトを確実にクロールするようにするには、まず対象のサイトで Google クローラのアクセスを許可する必要があります。そのためには、Google のクローラを robots.txt で有効にします。具体的な方法について詳しくは、robots.txt ファイルで Google のクローラにアクセスを許可するをご確認ください。

ログインが必要なコンテンツにアクセスできるようにする

サイトでログインが必要なコンテンツがある場合は、クローラのログイン情報を作成する必要があります。クローラのログイン情報を作成していない場合、クローラがログインページにリダイレクトされる可能性があります。その結果、「コンテンツなし」のポリシー違反が報告されたり、クローラが 401(認証エラー)や 407(プロキシ認証エラー)を受信したりすることになり、サイトのコンテンツをクロールすることができなくなります。

ページが見つかりません

Google に送信された URL がサイトに存在しなかったり(または削除されていたり)、404 エラー(ページが見つかりません)を受信したりする場合、Google のクローラはコンテンツを正常にクロールしません。

URL のオーバーライド

広告タグのページ URL をオーバーライドする場合、特に上書きされるページ URL の形式が適切でない場合は、広告をリクエストしているページのコンテンツを Google のクローラが取得できないことがあります。一般的に、Google が適切なコンテキストで処理を行うことができるよう、広告リクエストで Google に送信するページ URL は、収益を得ているページの実際の URL と同じものである必要があります。

ネームサーバーの問題

お使いのドメインやサブドメインのネームサーバーによって Google クローラが対象のコンテンツに適切に送られない場合、またはリクエストの送信元に何らかの制限がある場合、クローラはコンテンツを見つけることができない可能性があります。

リダイレクトの実装

サイトにリダイレクトが実装されている場合は、リダイレクトの過程で問題が発生する可能性があります。たとえば多数のリダイレクトが実装されている場合に、中間のリダイレクトが失敗したり、リダイレクト中に Cookie などの重要なパラメータが失われたりすると、クロールの品質が低下する可能性があります。広告コードを埋め込んでいるページでは、リダイレクトを最小限にすることをおすすめします。また、リダイレクトを実装する際は適切に実装されているかどうかをご確認ください。

ホスティングの問題

Google のクローラがサイトのコンテンツにアクセスする際に、サイトのサーバーが時間内に応答できない場合があります。これは、サーバーがダウンしたり、リクエストによって負荷がかかりすぎて速度が遅くなったりしている場合に発生します。信頼性の高いサーバーやサービス プロバイダを使用してサイトがホストされるようにすることをおすすめします。

地域、ネットワーク、IP の制限

一部のサイトでは、コンテンツにアクセスできる地域や IP の範囲を限定する地域制限を設けたり、アクセスが制限されたネットワークや IP 範囲(127.0.0.1 など)にコンテンツを置いたりしている場合があります。このような制限により、Google のクローラがすべてのページにアクセスできない場合は、制限を取り除くか、コンテンツを一般公開してクロールできる URL にすることをおすすめします。

新しく公開されたコンテンツ

ページが新しく公開された場合、Google のクローラがコンテンツをクロールする前に広告リクエストが行われることがあります。新しいコンテンツが頻繁に投稿されるサイトには、ユーザーがコンテンツを作成することができるサイト、ニュース記事、大規模な商品在庫、気象サイトなどがあります。新しい URL で広告リクエストが行われた後、コンテンツがクロールされるまでには通常数分かかります。つまり、最初の数分間はコンテンツがクロールされていないため、広告の分量が少なくなる可能性があります。

パーソナライズされたページ(URL パラメータや動的に生成される URL パスなど)

一部のサイトには、ログインしたユーザー(例: セッション ID)など、アクセスごとに固有の情報を示すパラメータが URL に含まれる場合があります。この場合、コンテンツが同じであっても、Google のクローラは URL を新しいページとして扱うことがあります。その結果、該当ページにおける最初の広告リクエストからページがクロールされるまでの間に数分のずれが生じたり、サーバーのクローラの負荷が増加したりする可能性があります。一般的に、ページのコンテンツが同じものである場合は、URL からパラメータを取り除き、パラメータで示される情報を別の方法で保持することが推奨されます。URL の構成がシンプルになれば、クロールも容易になります。

POST データの使用

サイトで URL と一緒に POST データが送信されている場合(POST リクエストを介してフォームデータを渡しているなど)、POST データを伴わないリクエストが拒否されている可能性があります。Google のクローラが POST データを処理することはないため、この場合クローラがページにアクセスできなくなる可能性があります。表示されるコンテンツがユーザーがフォームに入力したデータに応じて決まる場合は、GET リクエストを使用するようにしてください。

この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。