抓取工具也称为“蜘蛛”程序或“漫游器”，是 Google 用来处理网页内容并将其编入索引的软件。为了投放与网站用户相关的广告，Ad Manager 抓取工具需要访问您的网站以确定网站内容。
下面介绍了关于 Ad Manager 抓取工具的一些要点：
- Ad Manager 抓取工具不同于 Google 抓取工具。这两种抓取工具相互独立，但它们共用同一个缓存。我们这样设计的目的是避免这两种抓取工具同时请求相同的网页，从而帮助发布商节省带宽。同样，网站站长工具中的抓取工具也是独立的。
- 解决 Ad Manager 抓取问题并不会同时解决 Google 抓取问题。解决 Ad Manager 抓取工具存在的问题不会影响您的网站在 Google 搜索结果中的排名。若要详细了解您的网站在 Google 上的排名，请参阅“在 Google 的搜索结果中收录您的网站”这篇文章。
- 抓取工具按网址编制索引。 我们的抓取工具会分别访问 site.com 和
www.site.com，但不会将site.com和site.com/#anchor分别视作不同的网址。 - 抓取工具不会访问 robots.txt 文件禁止访问的网页或目录。Google 和 Ad Manager 合作伙伴的抓取工具都受 robots.txt 文件的约束。因此，如果您的 robot.txt 文件禁止访问某些网页或目录，抓取工具就不会对其进行抓取。
如果您要在使用
User-agent: *这行代码阻止漫游器访问的网页上投放广告，那么 Ad Exchange 抓取工具仍会抓取这些网页。若要阻止 Ad Exchange 抓取工具访问您的网页，您需要在自己的 robots.txt 文件中指定User-agent: Mediapartners-Google。 - 抓取工具仅会尝试访问已植入我们的广告代码的网址。只有展示 Google 广告的网页才能向我们的系统发出请求并接受抓取。
- 抓取工具会尝试访问进行重定向的网页。如果有重定向到其他网页的“原始网页”，我们的抓取工具就必须访问原始网页，以确定存在重定向。因此，您的访问日志会显示我们的抓取工具对原始网页的访问。
- 重新抓取网站。目前，我们无法控制抓取工具将您网站的内容编入索引的频率。抓取操作是由我们的漫游器自动完成的。如果您对网页进行了更改，您所做的更改可能需要最多 1 到 2 周的时间才能反映到我们的索引中。
