アド マネージャーのクローラに関する問題を解決する

サイト全体がクロールされるようにすると、コンテンツからの収益を増やすことができます。サイトがクロールに適した状態になっているかを調べるには、以下のすべての項目について確認してください。いずれかの項目に問題があると、サイトがクロールされない可能性があります。

robots.txt で Google のクローラを有効にする

Google のクローラが対象のサイトを確実にクロールするようにするには、まず対象のサイトで Google クローラのアクセスを許可する必要があります。

アド マネージャー クローラによるページのインデックス登録を許可しないようにサイトの robots.txt ファイルを修正している場合、それらのページには Google 広告を掲載できなくなります。その場合は、robots.txt ファイルを更新して、クローラにページへのアクセスを許可します。

robots.txt ファイルから次の 2 行を削除します。

User-agent: Mediapartners-Google
Disallow: /

この変更により、クローラがウェブサイトのコンテンツをインデックスに登録できるようになり、Google の広告が表示されるようになります。

ただし、robots.txt ファイルを変更しても、クローラがサイトに再度アクセスするまでインデックスの内容は更新されません。

ログインが必要なコンテンツにアクセスできるようにする

ログインが必要なコンテンツがある場合は、クローラのログイン情報を設定する必要があります。

クローラにログインを許可していないと、クローラがログインページにリダイレクトされ、「コンテンツが存在しない」というポリシー違反が発生する可能性があります。また、クローラに 401 エラー(認証されませんでした)や 407 エラー(プロキシ認証が必要)が返され、結果としてコンテンツをクロールできない可能性があります。

「ページが見つかりません」エラー

Google に送信された URL のページがサイトに存在しない(または削除されている)場合や、404 エラー(ページが見つかりません)が返される場合、Google のクローラはコンテンツを正常にクロールできません。

URL のオーバーライド

広告タグのページ URL をオーバーライドする場合、特に上書きされるページ URL の形式が適切でないと、広告をリクエストしているページのコンテンツを Google のクローラが取得できないことがあります。

Google が適切なコンテンツ情報を処理できるよう、広告リクエストで Google に送信するページ URL は、収益を得ているページの実際の URL と同じものである必要があります。

ネームサーバーに関する問題

ドメインまたはサブドメインのネームサーバーから返されたコンテンツのアドレスが適切でない場合、またはネームサーバーでリクエストの発信元になんらかの制限がある場合は、クローラがコンテンツを検出できない可能性があります。

破損または重複したリダイレクト

サイトにリダイレクトが設定されていると、リダイレクトの過程で問題が発生する可能性があります。たとえば多数のリダイレクトが実装されている場合に、中間のリダイレクトが失敗したり、リダイレクト中に Cookie などの重要なパラメータが失われたりすると、クロールの品質が低下することがあります。

広告コードを埋め込んでいるページでは、リダイレクトを最小限にすることをおすすめします。また、リダイレクトは適切に実装するようにしてください。

サイトのホスト側の問題

Google のクローラがサイトのコンテンツにアクセスする際に、サイトのサーバーが時間内に応答できないことがあります。これは、サーバーがダウンしたり、リクエストによって負荷がかかりすぎて速度が遅くなったりしている場合に発生します。

サイトは、信頼性の高いサーバーやサービス プロバイダを使用してホストすることをおすすめします。

地域、ネットワーク、IP による制限

サイトによっては、コンテンツにアクセスできる地域や IP の範囲を制限していたり、アクセスが制限されたネットワークや IP 範囲(127.0.0.1 など)にコンテンツを置いたりしている場合があります。

このような制限により Google のクローラがすべてのページにアクセスできない場合は、制限を解除するかコンテンツを一般公開して、URL をクロールできるようにすることをおすすめします。

新しく公開されたコンテンツ

ページが新しく公開された場合、Google のクローラがコンテンツをクロールする前に広告リクエストを行うことも考えられます。たとえば、ニュースサイト、ユーザー作成コンテンツがあるサイト、大量の掲載商品があるサイト、天気情報などのサイトでは、新しいコンテンツが頻繁に追加されます。

通常、新しい URL で広告リクエストが発生すると数分以内にコンテンツがクロールされます。コンテンツがまだクロールされていない最初の数分間は、広告の量が少なくなる可能性があります。

パーソナライズされたページ(URL パラメータや動的に生成される URL パスなど)

ウェブサイトによっては、ログインしたユーザー(たとえば SessionID)など、アクセスごとに固有の情報を示すパラメータが URL に含まれることがあります。このような場合は、同じコンテンツであっても Google のクローラでそれぞれの URL が新しいページとして扱われ、結果としてページで最初の広告リクエストが発生してからページがクロールされるまでに数分かかったり、サーバーでクローラによる読み込みが頻発したりする可能性があります。

ページのコンテンツが変わらない場合は、URL からパラメータを取り除き、パラメータで示される情報を別の方法でウェブサーバーに送信することをおすすめします。

URL の構成がシンプルになれば、クロールも容易になります。

POST データ

POST リクエストを介してフォームデータを送信するなど、URL とともに POST データを送信するサイトでは、POST データを伴わないリクエストが拒否される可能性があります。Google のクローラで POST データが提供されることはないため、そうした設定のもとではクローラがページにアクセスできなくなる可能性があります。

ユーザーがフォームに入力したデータによってページのコンテンツが決まる場合は、GET リクエストの使用を検討してください。

この情報は役に立ちましたか?

改善できる点がありましたらお聞かせください。
検索
検索をクリア
検索を終了
Google アプリ
メインメニュー
15376765468667759820
true
ヘルプセンターを検索
true
true
true
true
true
148
false
false