确保您的 ads.txt 文件可被抓取

ads.txt 文件可让您更好地掌控哪些卖方有权销售您网站上的广告空间，并可防止向广告客户展示仿冒广告资源。因此，Google 抓取工具必须能够访问您的 ads.txt 文件。

为您的网站创建 ads.txt 文件，并将该文件上传到您的根网域后，Google 抓取工具将执行以下操作：

• 尝试抓取该文件。
• 解析 ads.txt 文件的内容，以确定哪些卖方 ID 有权通过您的网站创收。

注意：ads.txt 更改可能需要过几天才能应用到 AdSense 中。如果您的网站提交的广告请求较少，则最多可能需要一个月的时间。

在本视频中，您将了解如何确保您的 ads.txt 文件可被抓取。

确定 ads.txt 抓取工具的问题

在开始之前，您最好先了解 HTTP 状态代码。

为确保您的 ads.txt 文件可被抓取，我们建议您完成以下问题排查步骤：

• 确认 ads.txt 文件的上传时间
• 确认 ads.txt 文件未出现暂时不可用的情况
• 确认 ads.txt 文件可通过根网域访问
• 确保 robots.txt 未禁止抓取操作
• 确保 ads.txt 文件包含 HTTP 200 OK 状态代码
• 确保 ads.txt 文件中不存在格式错误或无效字符
• 创建通过 HTTP 和 HTTPS 均可访问的 ads.txt 文件

确认 ads.txt 文件的上传时间

如果您在过去几天内上传了 ads.txt 文件，那么您所做的更改可能尚无法在 AdSense 中体现和审核。如果您的网站提交的广告请求较少或网站流量较低，则最多可能需要一个月的时间才能完成审核。

如果 ads.txt 设置正确，请勿移除该文件。对 ads.txt 文件所做的任何更改都会影响审核时间。

确认 ads.txt 文件未出现暂时不可用的情况

如果先前抓取的 ads.txt 文件在后续重新抓取时不可用，那么之前抓取的条目的处置方式取决于状态代码响应。

尝试访问 domain.com/ads.txt 文件：

• 如果响应为 HTTP 404 状态错误，则表示该文件不存在。之前的条目将会被完全清除。
• 如果响应为软 HTTP 404 状态错误（针对实际不存在的网址返回的实际网页；HTTP 200 状态）或 服务器错误 500，则会保留最多 5 天。

确认 ads.txt 文件可通过根网域访问

请检查您的网址。是否需要添加“www”才能访问您的网站（例如 www.domain.com）？

Ads.txt 的抓取将从根网域开始，而根网域需要从 ads.txt 文件返回或重定向到 ads.txt 文件。

• www.domain.com/ads.txt 上的 ads.txt 文件只有在 domain.com/ads.txt 重定向到它时才会被抓取。

如果需要添加“www”才能访问您的网站，则需要设置从domain.com/ads.txt到www.domain.com/ads.txt的重定向。

请与您的服务提供商联系，帮助您设置重定向。

确保 robots.txt 未禁止抓取操作

如果某个网域中的 robots.txt 文件不允许以下任意一项，则抓取工具可能会忽略该网域的 ads.txt 文件：

• 抓取用于发布 ads.txt 文件的网址路径。
• 特定抓取工具（用户代理）。

您可以更改 robots.txt 文件，让 Google 抓取工具访问 ads.txt 文件。

示例：不允许通过 ads.txt 文件路径进行抓取

如果 example1.com/robots.txt 中包含以下行：

User-agent: *
Disallow: /ads

这意味着遵循 robots.txt 标准的抓取工具会忽略 ads.txt 文件。

您可以通过以下几种方式修改 robots.txt 文件，以便您的 ads.txt 文件可被抓取：

• 方法 1：修改不允许抓取的路径。

  User-agent: *
Disallow: /ads/

• 方法 2：修改指令以明确允许抓取 ads.txt。

  User-agent: *
Allow: /ads.txt
Disallow: /ads

注意：这些方法仅作为示例，您也可以通过其他方式修改 robots.txt。

示例：仅禁止 Google 抓取工具抓取

如果 example2.com/robots.txt 中包含以下行：

User-agent: Googlebot
Disallow: /

这意味着 Google 抓取工具会忽略 ads.txt 文件。

您可以通过以下几种方式更新 robots.txt 文件，以允许 Google 抓取工具访问您的 ads.txt 文件：

• 方法 1：从 Disallow 中移除“/”：

  User-agent: Googlebot
Disallow:

• 方法 2：允许 Googlebot 访问您的 ads.txt 文件。

  User-agent: Googlebot
Allow: /ads.txt

注意：您对 robots.txt 文件做出的任何更改，可能都要等到抓取工具再次尝试访问您的网站时，才会反映出来。

确保 ads.txt 文件包含 HTTP 200 OK 状态代码

虽然对 ads.txt 文件的请求可能会在响应正文中返回文件内容，但是如果响应标头中的状态代码指示未找到该文件（例如状态代码 404），则：

• 系统将会忽略该响应。
• 该文件将被视为不存在。

检查响应标头，确保 ads.txt 文件中包含 HTTP 200 OK 状态代码。HTTP 200 OK 状态代码表示您已正确实施 ads.txt 文件，且请求成功。

确保 ads.txt 文件中不存在格式错误或无效字符

请务必检查 ads.txt 是否存在任何错误，例如拼写错误、不必要的空格或多余的逗号。

格式错误（例如无效的空白字符）可能难以检测到，但却会导致 ads.txt 文件难以被抓取工具解析，从而可能导致该文件被忽略。

将您的 ads.txt 代码与 AdSense 账号中的代码进行比较。您的 ads.txt 文件应与以下示例类似：

google.com, pub-0000000000000000, DIRECT, f08c47fec0942fa0

发布商 ID 应该与 AdSense 账号中显示的 ID 完全相同。

请避免从富文本编辑器复制和粘贴 ads.txt 条目，因为其中可能包含额外的元数据或格式数据。建议使用纯文本编辑器。您还可以使用十六进制编辑器检查 ads.txt 文件中是否存在无效的 UTF-8 字符。

创建通过 HTTP 和 HTTPS 均可访问的 ads.txt 文件

无论在 HTTP 上还是 HTTPS 上，Google 抓取工具都会尝试抓取 ads.txt 文件。确认您的 ads.txt 通过 HTTP 和 HTTPS 都能访问。如果不行，您可能需要设置重定向。

示例：如果只有适用于 HTTP 的 ads.txt 文件，则通过 HTTPS 抓取 ads.txt 文件将返回 HTTP 状态代码 404。即使通过 HTTP 抓取了 ads.txt 文件，之前抓取的条目也会被完全清除。如果是这种情况，则需要设置重定向。

您需要采取的下一步骤取决于以下因素：

• 仅适用于 HTTP（例如 http://domain.com/ads.txt）：您需要设置重定向，这样在抓取工具会搜索 https://domain.com/ads.txt 时，对应网站就会重定向到 http://domain.com/ads.txt。
• 仅适用于 HTTPS（例如 https://domain.com/ads.txt）：您需要设置重定向，这样在抓取工具搜索 http://domain.com/ads.txt 时，对应网站就会重定向到 https://domain.com/ads.txt。
• 同时适用于 HTTP 和 HTTPS 协议：请求 http://domain.com/ads.txt 和 https://domain.com/ads.txt 应该都会展示 ads txt 文件。

如果您在设置重定向时需要帮助，请与您的服务提供商联系。

注意：如果您想详细了解 ads.txt 问题排查，我们还有其他资源。