如何解决“robots.txt 导致无法抓取移动版页面”这一问题

您的一个或多个商品使用链接 [link] 属性指定了着陆页，但 Google 无法抓取这些着陆页，因为 robots.txt 禁止 Google 在使用移动版用户代理进行抓取时下载着陆页。这会导致 Google 无法对商品着陆页执行自动质量和政策检查，因而无法确保无缝的用户体验。在我们能够抓取相应的着陆页之前，受影响的商品将停止在桌面设备和移动设备版购物广告和非付费商品详情中展示。

要解决此问题，请更新网络服务器上的 robots.txt 文件以允许 Google 抓取工具抓取您提供的着陆页。robots.txt 文件通常位于网络服务器的根目录下（如 http://www.example.com/robots.txt）。为了使我们能够访问您的整个网站，请确保您的 robots.txt 文件允许“Googlebot”（用于着陆页）和“Googlebot-image”（用于图片）这两个用户代理抓取您的网站。请将下面几行代码添加到 robots.txt 文件中：

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

详细了解如何配置 robots.txt 文件。还可以使用网址检查工具测试当前配置。请务必选择“智能手机”作为抓取类型。

如果您解决了这些问题并通过上传新 Feed 或利用 Content API 更新了商品，那么几天后上述错误将不再出现。我们将在这段时间内验证能否访问您提供的着陆页。之后，您的商品便会重新在购物广告和非付费商品详情中展示。如果您希望缩短此过程，可以提高 Google 的抓取速度。