通过确保您的网站完全可以抓取,有助于网站内容为您带来更丰厚的收入。如果内容抓取工具无法访问您的内容,请参阅以下抓取工具问题列表,以帮助您解决问题。
访问权限问题
可能的原因 | 检查项目 | 解决方法 |
---|---|---|
您的网站必须登录才能访问。
广告抓取工具可能被重定向到登录页面,因此无法抓取您的内容。 |
访问者是否需要提供登录详细信息才能访问您的内容? | 设置抓取工具登录信息,以将登录后的网站内容用于在应用中进行内容映射。 |
您的内容必须在限定的网络或 IP 范围内才能查看。 | 您是否限制了可访问您内容的地理区域或 IP 范围? | 解除这些限制或将您的内容设为可公开访问,以便广告抓取工具可以抓取您的网址。 |
您在 robots.txt 文件中屏蔽了广告抓取工具。 | 您的 robots.txt 文件中是否禁止使用广告抓取工具? | 在 robots.txt 文件中向广告抓取工具授予访问权限。 |
网站问题
可能的原因 | 检查项目 | 解决方法 |
---|---|---|
找不到您的网站。 如果发送给 Google 的网址指向网站上不存在(或不再存在)的网页,或者导致 404(“找不到网页”)错误,广告抓取工具将无法成功抓取您的内容。 |
您的网站是否在正常运行?访问者可以通过网络访问您的网站吗? | 确保您的网站已发布并已上线。 |
您的网站上有最新发布的内容。 如果您发布了新网页,那么在您发出广告请求时,Google 抓取工具可能还没来得及抓取新网页的内容。例如,下列网站就会发布大量的新内容:包含用户生成的内容、新闻报道、庞大商品目录的网站,或天气预报网站。 |
您最近是否发布过新内容? |
为广告抓取工具留出更多时间来抓取您的新内容。 通常情况下,新网址发出广告请求后,系统会在几分钟内抓取该网址上的内容。不过,在最初几分钟内,由于您的内容尚未被抓取,您展示的广告量可能较低。 |
您的网站使用了多重重定向。 如果您的网站使用重定向,那么广告抓取工具就有可能在重定向过程中遇到问题。例如,如果您的网站会进行多重重定向,但中间的重定向失败;或者 Cookie 等重要参数在重定向过程中丢失,这都可能会降低抓取质量。 |
您的网站是否使用了大量重定向?您是否在要展示广告的网页上设置了重定向? |
考虑在包含广告代码的网页上尽量少使用重定向,并务必正确实施所有的重定向。 |
您使用的是个性化的网页网址。 有些网站会在网址中包含额外参数,用以表示当前登录的用户(例如会话 ID);或者包含可能唯一标识每次访问的其他信息。在这种情况下,即使内容相同,广告抓取工具也可能会将该网址视为新网页。这可能会导致该网页上的第一个广告请求发出之后,经过几分钟时间该网页才会被抓取,同时还会增加抓取工具在服务器上的工作量。 |
您网站的网址是否会使用额外参数或动态生成的网址路径? | 通常情况下,如果网页上的内容不会变化,请考虑从网址中移除这些参数,并以其他方式保存这些参数所表示的信息。采用比较简单的网址结构有助于您的网站被轻松抓取。 |
您的网站使用了 POST 数据。 如果您的网站将 POST 数据与网址一起发送(例如,通过 POST 请求传递表单数据),那么网站可能会拒绝未随 POST 数据一同发送的请求。请注意,由于广告抓取工具不会提供任何 POST 数据,因此这种设置会妨碍抓取工具访问您的网页。 |
您的网站是否随网址一起发送 POST 数据? | 如果网页内容由用户输入到表单中的数据决定,请考虑使用 GET 请求。 |
托管问题
可能的原因 | 检查项目 | 解决方法 |
---|---|---|
您网站的域名服务器存在问题。 |
您的域名服务器是否设置正确?您对请求的来源是否有任何限制? | 务必让网域或子网域的域名服务器将广告抓取工具正确定向到您的内容。 |
您网站的服务器存在问题。 有时,当广告抓取工具尝试访问网站内容时,网站的服务器未能及时响应。出现这种情况可能是因为服务器出故障、运行速度缓慢或请求数超载。 |
您网站的服务器是否在正常运行? | 我们建议您务必在可靠的服务器上或让可靠的服务提供商托管您的网站。 |