管理网站

AdSense 抓取工具错误

通过确保您的网站完全可以抓取,有助于网站内容为您带来更丰厚的收入。为了确保您的网站做好了充分准备,让我们能够顺利抓取内容,请考虑下列所有可能会影响抓取的问题。详细了解 AdSense 抓取工具

在 robots.txt 中向 Google 的抓取工具授予访问权限

为确保我们可以抓取您的网站,请务必向 Google 的抓取工具授予访问权限。也就是说,您需要在 robots.txt 中允许 Google 的抓取工具进行抓取。有关如何执行此操作的说明,请参阅在 robots.txt 文件中向抓取工具授予访问权限

让抓取工具可以访问在登录后才能访问的任何内容

如果您的网站包含需要登录才能访问的内容,请确保您已设置抓取工具登录信息。如果您没有为我们的抓取工具提供登录信息,抓取工具可能会被重定向到登录页面,而这可能会导致您的网站被认定为“无内容”,并因此而违反合作规范;另一种可能是,我们的抓取工具会收到 401(未获授权)或 407(需使用代理进行身份验证)错误,因而无法抓取内容。

找不到网页

如果发送给 Google 的网址指向网站上不存在(或不再存在)的网页,或者导致 404(“找不到网页”)错误,则 Google 的抓取工具将无法成功抓取您的内容。

替换网址

如果您替换广告代码中的网页网址,Google 的抓取工具可能无法抓取请求广告的网页的内容,尤其是在被替换的网页网址格式错误的情况下。一般来说,您在广告请求中发送给 Google 的网页网址应与您用于创收的网页的实际网址一致,才能确保 Google 依据正确的背景信息采取行动。

域名服务问题

如果您的网域或子网域的域名服务器未将我们的抓取工具正确定向到您的内容,或者对请求来源有任何限制,那么抓取工具可能无法找到您的内容。

实施重定向

如果您的网站存在重定向,那么我们的抓取工具就有可能在重定向过程中遇到问题。例如,如果存在多个重定向但中间的重定向失败,或者 Cookie 等重要参数在重定向过程中丢失,则可能会降低抓取质量。请考虑在包含广告代码的网页上尽量少使用重定向,并确保重定向正确实施。

托管问题

有时,当 Google 的抓取工具尝试访问网站内容时,网站的服务器未能及时响应。发生这种情况可能是因为服务器出故障、运行速度缓慢或请求数超载。我们建议您确保自己的网站在可靠的服务器上托管或由可靠的服务提供商托管。

地理区域、网络或 IP 限制

有些网站可能会限制可访问其内容的地理区域或 IP 范围,或将内容放在受限的网络或 IP 范围(例如 127.0.0.1)内。如果这些限制妨碍了 Google 的抓取工具访问您的所有网页,请考虑解除这些限制或将您的内容设为可公开访问,以使您的网址可供抓取。

最新发布的内容

如果您发布了新网页,那么在您发出广告请求时 Google 抓取工具可能还没来得及抓取新网页的内容。例如,下列网站就会发布大量的新内容:包含用户生成的内容、新闻报道、庞大商品目录的网站,或天气预报网站。通常情况下,新网址发出广告请求后,系统会在几分钟内抓取该网址上的内容。不过,在最初几分钟内,由于您的内容尚未被抓取,您展示的广告量可能较低。

个性化网页(使用网址参数或动态生成的网址路径)

有些网站会在网址中包含额外参数,用以表示当前登录的用户(例如会话 ID),或可能唯一识别每次访问的其他信息。在这种情况下,即使内容相同,Google 的抓取工具也可能会将该网址视为新网页。这可能会导致该网页上的第一个广告请求发出之后,经过几分钟时间该网页才会被抓取,同时还会增加抓取工具在服务器上的工作量。通常情况下,如果网页上的内容没有变化,请考虑从网址中移除这些参数,并以其他方式保存这些参数所表示的信息。采用比较简单的网址结构有助于您的网站被轻松抓取。

使用 POST 数据

如果您的网站将 POST 数据与网址一起发送(例如,通过 POST 请求传递表单数据),那么网站可能会拒绝未随 POST 数据一同发送的请求。请注意,由于 Google 的抓取工具不会提供任何 POST 数据,因此这种设置可能会妨碍抓取工具访问您的网页。如果网页内容由用户输入到表单中的数据决定,请考虑使用 GET 请求。

该内容对您有帮助吗?
您有什么改进建议?