ads.txt または app-ads.txt のクロールを確認する

近日提供予定: app-ads.txt 用のアド マネージャー管理画面オプションが近日提供予定です。

ドメイン上に ads.txt または app-ads ファイルを設定すると、Google のクローラは次のように動作します。

  • 24 時間ごとにファイルのクロールを試行します。
  • ファイルの内容を解析して、その広告枠から収益を得る権限を持つ販売者の ID を特定します。

ドメインの ads.txt または app-ads.txt のステータスは、アド マネージャー Ads.txt 管理ツールで監視できます。ただし、ads.txt または app-ads.txt ファイルがドメイン上に配置されていても、アド マネージャーでは「ads.txt ファイルが見つかりませんでした」と表示されることがあります。ファイルが配置されて 24 時間以内にこのメッセージが表示された場合は、通常、ファイルが存在していても Google でファイルを見つけられないか、クロールできないか、解析できないことを示しています。

この場合は、ウェブマスターと協力して、次のトラブルシューティング手順を行うことをおすすめします。

ファイルが一時的に利用不可になっていないか確認する

これまでクロールで検出されていた ads.txt または app-ads.txt ファイルが見つからなくなり再クロールが失敗すると、以前にクロールされたエントリは次のように処理されます。

  • ハード 404 エラー(ページが存在しない、HTTP 404 ステータス)が返される場合、エントリは削除されます。
  • ソフト 404 エラー(実際には存在しない URL に対して、実際に存在するなんらかのページが返される、HTTP 200 ステータス)または 500 サーバーエラーが返される場合、エントリは最長 5 日間保持されます。この場合アド マネージャーの [最終検知] には、更新が行われていれば 24 時間以内の時間が表示されるはずが、それより前の時間が表示される可能性があります。

ルートドメインからファイルにアクセスできるか確認する

domain.com/ads.txt から www.domain.com/ads.txt へのリダイレクトは一般的な手法です。ads.txt のクロールはルートドメインから開始されるため、ads.txt ファイルからルートドメインに戻るか、ルートドメインから ads.txt ファイルにリダイレクトする必要があります。

  • www.domain.com/ads.txt の ads.txt ファイルがクロールされるのは、domain.com/ads.txt からリダイレクトされる場合のみです。
  • 元のルートドメイン以外には 1 回だけリダイレクトできます(例: example1.com/ads.txtexample2.com/ads.txt)。同じドメインであっても、2 回目のリダイレクトが含まれる場合、ファイルはクロールされません。

robots.txt によってクロールが禁止されていないか確認する

ドメインの robots.txt ファイルが次のいずれかを禁止している場合、ドメインの ads.txt または app-ads.txt ファイルはクローラに無視される恐れがあります。

  • ads.txt または app-ads.txt ファイルが置かれている URL パスのクロール
  • クローラのユーザー エージェント
例: ads.txt ファイルのパスでクロールが許可されていない

example1.com の場合:

  1. ads.txt ファイルは example1.com/ads.txt に置かれています。
  2. example1.com/robots.txt に以下の行が含まれています。
    User-agent: *
    Disallow: /ads
  3. ads.txt ファイルは、robots.txt の指示に従ってクローラに無視されます。
  4. robots.txt ファイルを以下のように修正すると、ads.txt ファイルのクロールは許可されます(この他の方法で修正することも可能です)。
    • 方法 1: クロールが禁止されているパスに変更を加えます。
      User-agent: *
      Disallow: /ads/
    • 方法 2: ads.txt を明示的に許可します(クローラが robots.txt の Allow ディレクティブをサポートしている場合)。
      User-agent: *
      Allow: /ads.txt
      Disallow: /ads
例: サイト全体でユーザー エージェントのクロールが許可されていない

example2.com の場合:

  1. ads.txt ファイルは example2.com/ads.txt に置かれています。
  2. example2.com/robots.txt に以下の行が含まれています。
    User-agent: Googlebot
    Disallow: /
  3. ads.txt ファイルは Google クローラに無視されます。

HTTP 200 OK ステータス コードが返されているか確認する

ads.txt または app-ads.txt ファイルに対するリクエストで、レスポンスの本文にファイルの内容が格納されているにもかかわらず、レスポンスのヘッダーにファイルが見つからないことを示すステータス コード(例: ステータス コード 404)が含まれている場合、次のような結果になります。

  • レスポンスは無視されます。
  • ファイルは存在しないものと見なされます。

ファイルに HTTP 200 OK ステータス コードがあるかどうか確認してください。

ファイルに書式設定エラーや無効な文字がないか確認する

無効な空白文字などの書式設定エラーは発見の難しいエラーです。しかし、ads.txt または app-ads.txt ファイルにこのようなエラーがあると、クローラは ads.txt または app-ads.txt ファイルを解析できず、結果としてファイルが無視される恐れがあります。書式設定エラーを防止するため、リッチテキスト エディタから ads.txt または app-ads.txt エントリをコピーして貼り付けることは避けてください。テキスト エディタは、書式なしタイプのものを使用することをおすすめします。

ads.txt または app-ads.txt ファイルを HTTP と HTTPS の両方でアクセス可能にする

Google クローラは、すべての ads.txt または app-ads.txt ファイルに対して HTTP と HTTPS の両方でクロールを試みます。HTTP 経由で ads.txt または app-ads.txt ファイルをクロールできる場合でも、レスポンス コード 404(または 40X)が返されると以前にクロールされたエントリは削除されます。したがって、HTTPS 経由のクロールで 404(または 40X)エラーが返される場合は、次のような結果になります。

  • 以前にクロールされたエントリは削除されます。
  • アド マネージャーに「ads.txt が見つかりませんでした」というステータスが表示されます。

ads.txt または app-ads.txt が HTTP と HTTPS の両方でアクセス可能かどうか確認してください。

サーバーまたは CDN から Google クローラに無効な応答が返されていないことを確認する

ブラウザでは有効な ads.txt が返されているように表示されても、そうでないことがあります。ユーザー エージェントでクローラが Googlebot と示されているときに、ads.txt と見なされない無効なレスポンスが返された場合、次のような結果になります。

  • Google は ads.txt ファイルを検出できません。
  • アド マネージャーに「ads.txt が見つかりませんでした」というステータスが表示されます。

この問題を解決するには、ウェブマスターに次のシェルコマンドの実行を依頼してください(mydomain.com はご使用のドメインに置き換えてください)。

  1. ads.txt ファイルにアクセスできるか確認するため、次のコマンドを実行します。
    curl -iL http://mydomain.com>/ads.txt

    mydomain.com/ads.txt に移動して、ブラウザと同じ ads.txt ファイルの内容が表示されるか確認します。
  2. ads.txt ファイルを Google クローラで検出できるか確認するため、次のコマンドを実行します。
    curl -iL -A "'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).'"
    http://mydomain.com/ads.txt

    ads.txt と見なされない無効なレスポンスの返信は、Google クローラが ads.txt ファイルの取得を試みた際に、サーバーまたは CDN(コンテンツ配信ネットワーク)から無効な応答が返されたことを意味します。

サーバーから Google クローラに有効なレスポンスが返されない場合の原因は、クローラのユーザー エージェント確認(前述)以外にもいくつか考えられます。ウェブマスターと協力して、サーバーのログで「mydomain.com/ads.txt」または「mydomain.com/robots.txt」に対する Google のクロールが失敗している箇所を確認し、問題を解決してください。

この情報は役に立ちましたか?
改善できる点がありましたらお聞かせください。