robots.txt の制限により、モバイル ユーザー エージェントで商品ページをクロールすることができません

問題の詳細

Google のクローラがモバイル ユーザー エージェントでクロールしてランディング ページをダウンロードしようとすると robots.txt によってブロックされるため、一部の商品アイテムで(link [商品リンク] 属性を使用して)指定されているランディング ページをクロールできません。このような商品アイテムは、Google がランディング ページをクロールできるようになるまでショッピング広告(パソコン向けとモバイル デバイス向けの両方)には掲載されません。

この問題を修正する理由

ユーザーは、ランディング ページの情報とショッピング広告に表示されている情報が当然一致しているものと考えています。このシームレスな利便性を提供するために、Google では商品のランディング ページに対して品質とポリシーの自動チェックを実施しています。チェックを行うには、Google のクローリング システムを使用してランディング ページをダウンロードする必要があります。

修正方法

ウェブサーバーの robots.txt を更新して、指定したランディング ページを Google のクローラが取得できるようにしてください。通常、robots.txt ファイルはウェブサーバーのルート ディレクトリ(例: http://www.example.com/robots.txt)にあります。Google がショップのウェブサイト全体にアクセスできるように、robots.txt ファイルを変更して「Googlebot」(ランディング ページに使用)と「Googlebot-image」(画像に使用)の両方のユーザー エージェントがサイトをクロールできるようにしてください。robots.txt ファイルを次のように変更するとクロールが許可されます。

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

robots.txt の設定方法について詳しくは、こちらをご覧ください。Fetch as Google ツールを使用すると、現在の設定をテストできます。取得タイプにはスマートフォンを選択してください。

すでにこれらの問題を修正して、新しいフィードのアップロードまたは Content API によって商品アイテムを更新している場合、例示したエラーは数日後に表示されなくなります。この間に、指定されたランディング ページにアクセスできることが Google で確認されると、商品アイテムがショッピング広告に再び掲載されるようになります。この処理を早めるには、Google のクロール速度を上げてください。

この情報は役に立ちましたか?
改善できる点がありましたらお聞かせください。

さらにサポートが必要な場合

問題を迅速に解決できるよう、ログインして追加のサポート オプションをご利用ください。