在抓取您网站的网页之前,我们曾尝试检查您的 robots.txt 文件,确保我们没有抓取您不希望抓取的网页。不过,在我们尝试检索您的 robots.txt 文件时,您的服务器返回了 5xx(无法访问)错误。为确保我们没有抓取该文件中列出的任何网页,我们推迟了抓取操作。
您的托管服务提供商可能屏蔽了 Googlebot,或者他们的防火墙配置可能存在问题。
注意:如果 robots.txt 文件在浏览器中显示的内容与 Google 看到的内容不同,请与您的托管公司合作,以移除可能会向不同的用户代理显示不同 robots.txt 内容的服务器规则。