抓取工具（也称为“蜘蛛”程序或漫游器）是 Google 用来处理网页内容并将其编入索引的软件。内容抓取工具通过访问您的网站确定网站内容，以投放相关广告。
有关内容抓取工具的重要注意事项：
- 抓取工具报告每周更新一次。
抓取过程是自动执行的。我们无法应您的请求更频繁地执行抓取。 - 内容抓取工具不同于 Google 抓取工具。
这两种抓取工具相互独立，但共用同一个缓存。我们这样设计的目的是避免这两种抓取工具同时请求相同的网页，从而帮助您节省带宽。与此类似，Search Console 抓取工具也是独立的。 - 解决内容抓取工具的问题并不会同时解决 Google 抓取问题。
解决“抓取工具访问权限”页面上列出的问题不会影响您在 Google 搜索结果中的排名。注意：要详细了解您的网站在 Google 上的排名，请访问：在 Google 搜索结果中收录您的网站。 - 抓取工具按网址编制索引。
例如，我们的抓取工具会分别访问“site.com”和“www.site.com”。但是，我们的抓取工具不会分开统计“site.com”和“site.com/#anchor”的信息。 - 抓取工具不会访问 robots.txt 文件禁止访问的网页或目录。
Google 和 AdMob Mediapartners 抓取工具都受 robots.txt 文件的约束。如果您的 robot.txt 文件禁止访问某些网页或目录，那么抓取工具不会抓取这些内容。注意：如果您在使用了User-agent: *行来阻止漫游器访问的网页上投放广告，那么内容抓取工具仍会抓取这些网页。要阻止内容抓取工具访问您的网页，您需要在自己的 robots.txt 文件中指定User-agent: Mediapartners-Google。详细了解如何向我们的抓取工具授予访问您网页的权限。 - 抓取工具仅会尝试访问已植入我们的广告代码的网址。
向我们的系统发出请求并被抓取的应该只是展示 Google 广告的网页。 - 抓取工具会尝试访问重定向的网页。
如果有重定向到其他网页的“原始网页”，我们的抓取工具就必须访问原始网页，以确定重定向确实存在。因此，您的访问日志会显示我们的抓取工具对原始网页的访问。 - 您无法控制抓取工具将您网站上的内容编入索引的频率。
目前，抓取操作是由我们的漫游器自动执行的。如果您对网页进行了更改，您所做的更改最多可能需要 1 到 2 周的时间才能反映到我们的索引中。