Google が貴社のコンテンツにアクセスできるように、robots.txt ファイルで「Googlebot」「AdsBot-Google」「Googlebot-image」のユーザー エージェントに対してサイトのクロールを許可してください。robots.txt ファイルを次のように変更するとクロールが許可されます。
User-agent: Googlebot
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:
Robots Exclusion Protocol の詳細については、こちらをご覧ください。
Google 広告システムを改善する目的で、Google は上記やその他のユーザー エージェント各種から取得した情報を使用することがあります。