如何解决：robots.txt 导致无法抓取桌面版页面

部分商品指定的着陆页（通过链接 [link] 属性指定）无法供 Google 抓取，因为 robots.txt 禁止 Google 抓取工具下载这些着陆页。在我们能够抓取这些着陆页之前，这些商品将保持拒批状态并停止在购物广告和非付费商品详情中展示。

更新网络服务器上的 robots.txt 文件以允许 Google 抓取工具获取您提供的着陆页。robots.txt 文件通常位于网络服务器的根目录下（如 http://www.example.com/robots.txt）。

为了让我们能够访问您的整个网站，请确保您的 robots.txt 文件允许“Googlebot”（用于着陆页）和“Googlebot-image”（用于图片）这两个用户代理抓取您的整个网站。

您可以按照下列方式更改您的 robots.txt 文件，以允许抓取整个网站：

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

您可以在这里详细了解如何配置 robots.txt，还可以使用网址检查工具测试当前配置。

如果您已修正这些问题并通过上传新 Feed 或利用 Content API 更新了商品，您在此处看到的错误应该会在一两天内消失。我们将在这段时间内验证能否抓取您提供的着陆页。之后，您的商品便会重新开始在购物广告和商品详情中展示。如果您希望缩短此过程，可以提高 Google 的抓取速度。