Google は、モバイル デバイスとパソコン向けの商品ページを定期的にクロールして品質の問題を確認しています。クロールを実施できない場合、お客様の商品アイテムはリスティングに掲載されなくなります。
また、モバイル デバイスまたはパソコンで商品アイテムのランディング ページを取得する際にクロールエラーが発生すると、その商品アイテムはモバイル デバイスとパソコンの両方で不承認になります。この措置は、ランディング ページに正常にアクセスできるようになるまで継続されます。
商品のクロールで問題が発生する一般的な原因:
- 「ページが見つかりません（404）」エラー: 指定された URL が正しくないか、無効であるため、404 エラーが返されます。URL が正確に指定されていること、ウェブサイトが現在公開中であることを確認してください。
- サーバーの robots.txt でアクセスが禁止されている: robots.txt ファイルで Google クローラーのアクセスがブロックされています。Google は、広告には AdsBot-Google を、オーガニック検索には Googlebot を使用します。一方のアクセスが許可されていても、もう一方のアクセスがブロックされることがあります。ウェブマスターに連絡して、AdsBot-Google と Googlebot の両方がランディング ページにアクセスできるよう、ファイルの更新を依頼してください。
- 無効な URL: URL に無効な文字が含まれているか、リンクの形式が無効です。
注: 問題が解決してから商品がリスティングに再び表示されるまでに、48 時間ほどかかる場合があります。
Google によるページのクロールを妨げる問題は他にもあります。
その他の一般的な問題- ページで認証が求められる: 指定された URL はなんらかの認証プロトコルで保護されているため、Google がコンテンツにアクセスできません。
- HTTP 4xx レスポンスと 5xx レスポンス: ウェブサイトをホストするサーバーから HTTP エラーが返されたため、コンテンツにアクセスできません。
- ホスト名を解決できない: サーバーのホスト名を IP アドレスに解決できなかったため、ページにアクセスできません。
- HTTP レスポンスの形式が正しくない: サーバーからのレスポンスが文字化けしています。
- ファイアウォール、地域制限、プライベート IP: ウェブサイトがファイアウォールの内側にあるか、地域制限が設定されているか、Google のクローラーをブロックするプライベート IP を使用している可能性があります。特定の地域を制限する場合でも、Google のシステムが米国から稼働していることが多いため、米国からのクロールは許可する必要があります。ウェブマスターまたはホスティング プロバイダに連絡し、ファイアウォールとサーバーの設定を更新して、AdsBot-Google ユーザー エージェントを許可するよう依頼してください。
- ネットワーク エラー: クロール中に接続の問題が発生しました。
- ページの読み取りタイムアウト: サーバーが時間内に応答しなかったため、この商品のクロールは停止しました。
- リダイレクトの回数が多すぎる: サーバーによるリクエストのリダイレクト回数が多すぎたため、クロールが失敗しました。
- リダイレクト エラー: サーバーから無効な URL、空の URL、または長すぎる URL が返されたため、クロールできませんでした。
- robots.txt にアクセスできない: robots.txt ファイルにアクセスできなかったため、クロールが停止しました。Robots Exclusion Protocol について詳しくは、こちらをご覧ください。
- 地域別ランディング ページにアクセスできない: 地域別の在庫状況と価格のアドオン機能を利用している場合、地域 ID を追加したすべてのランディング ページが確実にクロールされるようにしてください。たとえば、次のような URL は Google からアクセス可能な状態である必要があります。
- https://mystorewebsite.com/p/myproductlandingpage?region_id=123456
- https://mystorewebsite.com/p?offer=myproduct®ion_id=123456