更改 Googlebot 抓取速度

抓取速度是指 Googlebot 在抓取网站时每秒向网站发出的请求次数,例如每秒发出 5 次请求。

您无法更改 Google 抓取网站的频率,但如果您希望 Google 抓取网站上的新内容或更新后的内容,可以请求重新抓取

正确用法

Google 采用先进的算法来确定最佳的网站抓取速度。我们的目标是,每次访问您的网站时,在不导致您的服务器带宽过载的情况下尽可能多地抓取网页。

如果 Google 每秒向网站发出的请求过多,导致服务器的速度下降,您可以限制 Google 抓取您网站的速度。

您可以限制对根级网站(例如 www.example.comhttp://subdomain.example.com)的抓取速度。您设置的抓取速度是 Googlebot 的抓取速度上限。请注意,Googlebot 并不一定会达到这一上限。

除非您发现服务器出现负载问题并确定该问题是由于 Googlebot 过于频繁地访问您的服务器导致的,否则我们建议您不要限制抓取速度。

您无法更改对非根级网站(例如 www.example.com/folder)的抓取速度。

限制抓取速度

  1. 打开资源的“抓取速度设置”页面
    • 如果抓取速度是“计算出的最佳速度”,那么降低抓取速度的唯一方式是提交特殊请求。您无法提高抓取速度。
    • 否则,请选择相应选项,然后根据需要限制抓取速度。新抓取速度的有效期为 90 天。

紧急抓取限制

如果 Google 过于频繁地抓取您的网站,以致您的网站出现可访问性问题,您可以采取以下做法保护网站:

  1. 确定是哪个 Google 抓取工具在过度抓取您的网站。查看您的网站日志或参考“抓取统计信息”报告
  2. 即时缓解措施:
    • 如果您想采取简单的解决方案,可以使用 robots.txt 阻止抓取过于频繁的代理(Googlebot、AdsBot 等)进行抓取。不过,这种做法最长可能需要一天才能生效。切勿阻止太长时间,否则可能会对抓取产生长期影响。
    • 如果您的服务器能够动态检测并响应增加的负载,可在接近服务上限时返回 HTTP 503/429。不过,返回 503 或 429 的时间切勿超过 2 天或 3 天,否则会向 Google 传递一种信号,导致 Google 长期降低对您的网站的抓取频率。
  3. 使用“抓取速度设置”页面更改抓取速度(如果有该选项)。
  4. 2 天或 3 天后,等 Google 的抓取速度调整完毕,您就可以移除 robots.txt 屏蔽规则或停止返回 503 或 429 错误代码了。
  5. 如果您的网站因为 AdsBot 抓取而过载,问题可能在于您使用 URL_Equals页面 Feed 为您网站上的动态搜索广告创建了过多定位条件。如果您的服务器容量不足以处理这些抓取,您应限制广告定位条件、以更小的批量添加网址,或提高服务容量。请注意,AdsBot 每 2 周就会抓取您的网页,因此您需要修正此问题,否则它会重复出现。
  6. 请注意,如果您使用抓取设置页面限制了抓取速度,抓取速度会在 90 天后恢复为自动调整。
该内容对您有帮助吗?
您有什么改进建议?

需要更多帮助?

请尝试以下步骤:

搜索
清除搜索查询
关闭搜索框
Google 应用
主菜单
搜索支持中心
true
true
false
true
true
83844
false
false