一旦您的开发者网域上设置了 app-ads.txt 文件,Google 抓取工具就会执行以下操作:
- 尝试抓取该文件。
- 解析该文件的内容,以确定有权通过您的广告资源获利的卖方 ID。
为确保您的 app-ads.txt 文件能够被抓取,我们建议您完成以下问题排查步骤:
- 确保文件未出现暂时不可用的情况
- 确保文件可以通过根网域访问
- 确保 robots.txt 未禁止抓取操作
- 确保返回的文件具备 HTTP 200 OK 状态代码
- 确保文件中没有格式错误或无效字符
- 创建通过 HTTP 和 HTTPS 均可访问的 app-ads.txt 文件
确保文件未出现暂时不可用的情况
如果先前看到的 app-ads.txt 文件在后续重新抓取时不可用,则先前看到的条目将会出现以下情况:
- 如果响应为硬 404 错误(网页实际不存在;HTTP 404 状态),将被完全清除。
- 如果响应为软 404 错误(针对实际不存在的网址返回实际网页;HTTP 200 状态)或服务器错误 500,将被保留最多 5 天。
确保文件可以通过根网域访问
从 domain.com/app-ads.txt
到 www.domain.com/app-ads.txt
的重定向相当常见。App-ads.txt 的抓取将从根网域开始,而根网域需要从 app-ads.txt 文件返回,或重定向到 app-ads.txt 文件。
www.domain.com/app-ads.txt
上的 app-ads.txt 文件只有在 domain.com/app-ads.txt
重定向到它时才会被抓取。确保 robots.txt 未禁止抓取操作
如果 robots.txt 文件限制抓取,抓取工具可能会忽略 app-ads.txt 文件。如果您的 app-ads.txt 网址重定向到其他主机名,请注意,针对该后续主机名的任何 robots.txt 文件也会影响抓取工具。
请更新您的 robots.txt 文件,以允许 Google 抓取 app-ads.txt 文件。
在 robots.txt 文件中添加以下两行文字:
User-agent: Google-adstxt
Disallow:
Google-adstxt
之外,抓取工具还会遵循 Mediapartners-Google
和 Googlebot
robots.txt User-agent
记录。确保返回的文件具备 HTTP 200 OK 状态代码
虽然对 app-ads.txt 文件的请求可能会在响应正文中返回文件内容,但是如果响应标头中的状态代码指示未找到该文件(例如状态代码 404),则:
- 系统将会忽略该响应。
- 该文件将被视为不存在。
确保该文件具备 HTTP 200 OK 状态代码。
确保文件中没有格式错误或无效字符
格式错误(例如无效的空白字符)可能难以检测,但却会使 app-ads.txt 文件难以被抓取工具解析,从而可能导致文件被忽略。
请避免从富文本编辑器复制和粘贴 app-ads.txt 条目;建议使用纯文本编辑器。您还可以使用十六进制编辑器检查 app-ads.txt 文件中是否存在无效的 UTF-8 字符。
创建通过 HTTP 和 HTTPS 均可访问的 app-ads.txt 文件
无论在 HTTP 上还是 HTTPS 上,Google 抓取工具都会尝试抓取所有 app-ads.txt 文件。但是,即使通过 HTTP 对 app-ads.txt 文件进行抓取,404(或 40X)响应也会导致先前被抓取的条目被完全清除。因此,如果通过 HTTPS 实施的抓取返回 404(或 40X),那么:
- 之前抓取的条目将会被完全清除。
请确保 app-ads.txt 通过 HTTP 和 HTTPS 都能进行访问。