Как предотвратить проблемы с обработкой файла ads.txt роботом Google

Предоставьте поисковому роботу Google доступ к своему файлу ads.txt. После создания файла ads.txt и его размещения в корневом домене поисковый робот Google будет выполнять следующие действия:

• сканировать файл;
• проверять, указаны ли в файле идентификаторы продавцов, которым разрешено получать доход от вашего инвентаря.

Примечание. Внесенные в файл ads.txt изменения вступят в силу через несколько дней. А если ваш сайт посылает мало запросов объявлений, это может занять до месяца.

Устранение неполадок с доступом поискового робота к файлу ads.txt

Чтобы обеспечить сканирование файла ads.txt, следуйте приведенным ниже пошаговым инструкциям.

(расширенный) Эти указания предназначены для опытных пользователей со знаниями кодов статуса HTTP.

Убедитесь, что файл доступен

Если просмотренный ранее файл ads.txt окажется недоступен при очередном сканировании, с уже полученными записями произойдет следующее:

• Если при попытке обработать файл выдается ошибка 404 (код ответа HTTP 404, который означает, что страница не существует), они будут удалены из Google без возможности восстановления.
• Если выдается ложная ошибка 404 (код ответа HTTP 200, который означает, что по запросу несуществующего URL возвращается существующая страница) или внутренняя ошибка сервера (код ответа HTTP 500), записи будут храниться ещё пять дней.

Проверьте доступ к файлу из корневого домена

Переадресация с domain.com/ads.txt на www.domain.com/ads.txt используется достаточно часто. Обработка файла ads.txt начинается в корневом домене, который должен возвращать результаты из этого файла либо перенаправлять пользователей на адрес файла.

Файл ads.txt, расположенный по адресу www.domain.com/ads.txt, будет обрабатываться только в том случае, если на него выполняется перенаправление с адреса domain.com/ads.txt.

Убедитесь, что файл robots.txt не блокирует сканирование файла ads.txt

Файл ads.txt в вашем домене может быть пропущен поисковыми роботами, если файл robots.txt запрещает следующее:

• сканирование пути URL к файлу ads.txt;
• доступ к агенту пользователя робота Google.

Настройки, при которых сканирование файла ads.txt будет заблокировано

Пример для сайта example1.com:

1. Файл ads.txt размещается по адресу example1.com/ads.txt.
2. В файле example1.com/robots.txt есть следующие строки:

   User-agent: *
Disallow: /ads

3. Файл ads.txt не будет обрабатываться поисковыми роботами, которые следуют инструкциям в файле robots.txt.
4. Чтобы разрешить сканирование, вы можете внести в файл robots.txt описанные ниже изменения (есть и другие способы).
   • Вариант 1. Измените путь к файлам, обработка которых запрещена. Для этого используйте следующие команды:

     User-agent: *
Disallow: /ads/

   • Вариант 2. Добавьте разрешение для файла ads.txt. Это указание будет выполняться только роботами, которые распознают директиву Allow в файле robots.txt.

     User-agent: *
Allow: /ads.txt
Disallow: /ads

Пример настроек, при которых агенту пользователя запрещено сканирование

Пример для сайта example2.com:

1. Файл ads.txt размещается по адресу example2.com/ads.txt.
2. В файле example2.com/robots.txt есть следующие строки:

   User-agent: Googlebot
Disallow: /

3. Файл ads.txt будет пропущен роботом Google.

Убедитесь, что при запросе файла возвращается код ответа HTTP 200 ОК

Если при запросе файла ads.txt в теле ответа возвращается содержание файла, но при этом код в заголовке ответа говорит о том, что файл не найден (например, если это код 404), происходит следующее:

• ответ игнорируется;
• файл считается несуществующим.

Проверьте, чтобы при сканировании файла выдавался код ответа HTTP 200 ОК.

Убедитесь, что в файле нет ошибок форматирования и недопустимых символов

Ошибки форматирования, такие как недопустимые символы пробелов, бывает сложно обнаружить, но из-за них у поискового робота могут возникнуть трудности с обработкой файла ads.txt. Это приведет к тому, что файл будет пропущен. Не копируйте в файлы ads.txt записи из текстовых редакторов с расширенным форматированием. Мы рекомендуем работать с редакторами обычных текстовых файлов. Вы также можете проверить свой файл ads.txt на наличие недопустимых символов UTF-8 с помощью шестнадцатеричного редактора.

Обеспечьте доступ к файлу ads.txt по URL с префиксами как HTTP, так и HTTPS

Поисковый робот Google предпринимает попытки обработать файлы ads.txt по URL с префиксами HTTP и HTTPS, но при этом любой код ответа 40X (например, 404) приводит к безвозвратному удалению ранее обработанных записей, даже если робот Google получил доступ к файлу по HTTP. Таким образом, если при обработке через HTTPS будет возвращен код 404 (или 40X), произойдет следующее:

• Обработанная ранее запись будет удалена без возможности восстановления.

Проверьте, чтобы файл ads.txt был доступен по URL как с HTTP, так и с HTTPS.