Как предотвратить проблемы со сканированием файлов ads.txt и app-ads.txt

Эта функция находится на этапе бета-тестирования
Бета-функции могут быть недоступны в вашей сети. Узнать о том, когда она станет общедоступной, можно в примечаниях к выпуску.

Когда вы разместите в своем домене файл ads.txt или app-ads.txt, поисковый робот Google будет выполнять следующие действия:

• обрабатывать файл каждые 24 часа;
• проверять, указаны ли в файле идентификаторы продавцов, которым разрешено получать доход от вашего инвентаря.

Проверять статус файлов ads.txt и app-ads.txt, которые были размещены в доменах, можно с помощью специального инструмента в Менеджере рекламы. Иногда в нашем сервисе может указываться, что файл ads.txt или app-ads.txt не найден, хотя в домене он есть.

Если с момента размещения вами файла прошло более 48 часов, значит Google по какой-то причине не может просканировать его. Если вы столкнулись с этой проблемой, попробуйте вместе с веб-мастером выполнить указанные ниже действия.

Файлы app-ads.txt общедоступны. Их могут сканировать программные продукты аукционов, платформ поставщиков, а также других покупателей и сторонних поставщиков.

Убедитесь, что файл доступен

Если просканированный ранее файл ads.txt или app-ads.txt при очередной обработке окажется недоступен, с уже полученными записями произойдет следующее:

• Если при попытке обработать файл выдается ошибка 404 (код ответа HTTP 404, который означает, что страница не существует), они будут удалены из Google без возможности восстановления.
• Если выдается ложная ошибка 404 (код ответа HTTP 200, который означает, что по запросу несуществующего URL возвращается существующая страница) или внутренняя ошибка сервера (код ответа HTTP 500), записи будут храниться ещё пять дней. В этом случае показываемое в Менеджере рекламы время последнего успешного сканирования может относиться не к последним суткам, а к более ранней дате.

Проверьте, доступен ли файл из корневого домена

Переадресация с domain.com/ads.txt на www.domain.com/ads.txt используется достаточно часто. Обработка файла ads.txt начинается в корневом домене, который должен возвращать результаты из этого файла либо перенаправлять пользователей на адрес файла.

• Файл ads.txt, расположенный по адресу www.domain.com/ads.txt, будет обрабатываться только в том случае, если на него выполняется перенаправление с адреса domain.com/ads.txt.
• Допускается только одна переадресация на URL в другом корневом домене (например, example1.com/ads.txt → example2.com/ads.txt). Если же вслед за первой переадресацией выполняется ещё одна, пусть даже в пределах того же домена, то файл ads.txt сканироваться не будет.

Убедитесь, что сканирование файла ads.txt или app-ads.txt не запрещено инструкциями в файле robots.txt

Файл ads.txt или app-ads.txt в вашем домене может быть пропущен поисковыми роботами, если файл robots.txt запрещает одно из следующих действий:

• сканирование пути URL к файлу ads.txt или app-ads.txt;
• сканирование роботом с конкретным агентом пользователя.

Настройки, при которых сканирование файла ads.txt будет заблокировано

Пример для сайта example1.com:

1. Файл ads.txt размещается по адресу example1.com/ads.txt.
2. В файле example1.com/robots.txt есть следующие строки:
   User-agent: *
Disallow: /ads
3. Файл ads.txt не будет обрабатываться поисковыми роботами, которые следуют инструкциям, указанным в файле robots.txt.
4. Чтобы разрешить сканирование, вы можете внести в файл robots.txt описанные ниже изменения (есть и другие способы).
   • Вариант 1. Измените путь к файлам, обработка которых запрещена. Для этого используйте следующие команды:
     User-agent: *
Disallow: /ads/
   • Вариант 2. Добавьте инструкции, которые разрешают сканирование файла ads.txt. Это указание будет выполняться только роботами, которые распознают директиву Allow в файле robots.txt.
     User-agent: *
Allow: /ads.txt
Disallow: /ads

Настройки, при которых агенту пользователя поискового робота Google блокируется доступ ко всему сайту

Пример для сайта example2.com:

1. Файл ads.txt размещается по адресу example2.com/ads.txt.
2. В файле example2.com/robots.txt есть следующие строки:

   User-agent: Googlebot
   Disallow: /

3. Файл ads.txt будет пропущен роботом Google.

Убедитесь, что при запросе файла возвращается код ответа HTTP 200 ОК

Если при запросе файла ads.txt или app-ads.txt в теле ответа возвращается содержание файла, но при этом код в заголовке ответа говорит о том, что файл не найден (например, если это код 404), происходит следующее:

• ответ игнорируется;
• файл считается несуществующим.

Проверьте, чтобы при сканировании файла выдавался код ответа HTTP 200 ОК.

Убедитесь, что в файле нет ошибок форматирования и недопустимых символов

Ошибки форматирования, такие как недопустимые символы пробелов, бывает сложно обнаружить, но из-за них у поискового робота могут возникнуть трудности с обработкой файла ads.txt или app-ads.txt. Это приведет к тому, что файл будет пропущен.

Не копируйте в файл ads.txt илиapp-ads.txt записи из текстовых редакторов с расширенным форматированием. Мы рекомендуем использовать обычный текстовый редактор. Проверить файлы ads.txt или app-ads.txt на наличие недопустимых символов UTF-8 можно также с помощью HEX-редактора.

Обеспечьте доступ к файлу ads.txt или app-ads.txt по URL с префиксами как HTTP, так и HTTPS

Поисковый робот Google предпринимает попытки обработать файлы ads.txt или app-ads.txt, размещенные по URL с префиксами как HTTP, так и HTTPS. Однако при этом любой код ответа 40X (например, 404) приводит к безвозвратному удалению ранее просканированных записей. Таким образом, если при обращению к файлу по протоколу HTTP или HTTPS будет возвращен код 404 (или 40X), произойдет следующее:

• обработанная ранее запись будет удалена без возможности восстановления;
• в Менеджере рекламы будет значиться, что файл не найден.

Проследите, чтобы файл ads.txt или app-ads.txt был доступен по URL с префиксами обоих протоколов.

Убедитесь, что сервер или СДК не отправляет поисковому роботу Google недопустимый ответ

При просмотре в браузере может создаться впечатление, что возвращается допустимый файл ads.txt. Если агент пользователя указывает, что роботом является Googlebot, но возвращается недопустимый ответ с некорректным файлом ads.txt, произойдет следующее:

• робот Google не распознает файл ads.txt;
• в Менеджере рекламы появится статус "Файл ads.txt не найден".

Чтобы проверить это, попросите веб-мастера выполнить приведенные ниже команды, вместо mydomain.com указав ваш домен.

1. Выясните, доступен ли файл ads.txt, выполнив следующую команду:
   curl -iL http://mydomain.com/ads.txt
   
   При переходе по адресу mydomain.com/ads.txt содержание файла ads.txt должно возвращаться в том же виде, в котором оно показывается в браузере.
2. Проверьте, может ли робот Google найти файл ads.txt. Для этого выполните следующую команду:
   curl -iL -A "'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).'"
http://mydomain.com/ads.txt
   
   Если будет получен недопустимый ответ с некорректным файлом ads.txt, это будет означать, что ваш сервер или сеть доставки контента возвращает недопустимый ответ при попытке робота Google получить ваш файл ads.txt.

Учтите, что сервер может возвращать недопустимый ответ роботу Google и по другим причинам. Вместе с веб-мастером попробуйте найти в журналах сервера информацию о неудачных попытках робота Google просканировать страницы mydomain.com/ads.txt или mydomain.com/robots.txt. Это поможет найти и устранить возникшие неполадки.

Советы для разработчиков приложений

Приведенные ниже советы относятся только к файлам app-ads.txt:

• Зарегистрируйте свое приложение в Google Play или Apple App Store. 
• Укажите название сайта разработчика на странице приложения в Google Play и/или маркетингового сайта в App Store.
• Проверьте, чтобы URL сайта разработчика в Google Play или маркетингового сайта в App Store был корректно указан в данных о приложении. Проверьте наличие опечаток и убедитесь, что файл app-ads.txt находится не в субдомене.