Управление инвентарем

Как предотвратить проблемы с обработкой файла ads.txt роботом Google

После размещения файла ads.txt в вашем домене поисковый робот Google будет выполнять следующие действия:

  • сканировать файл;
  • проверять, указаны ли в файле идентификаторы продавцов, которым разрешено получать доход от вашего инвентаря.
Примечание. Внесенные в файл ads.txt изменения вступят в силу через несколько дней. При малом количестве запросов объявлений для сайта это может занять до месяца.

Чтобы обеспечить сканирование файла ads.txt, следуйте приведенным ниже пошаговым инструкциям.

Убедитесь, что файл доступен

Если просмотренный ранее файл ads.txt окажется недоступен при очередном сканировании, с уже полученными записями произойдет следующее:

  • Если при попытке обработать файл выдается ошибка 404 (код ответа HTTP 404, который означает, что страница не существует), они будут удалены из Google без возможности восстановления.
  • Если выдается ложная ошибка 404 (код ответа HTTP 200, который означает, что по запросу несуществующего URL возвращается существующая страница) или внутренняя ошибка сервера (код ответа HTTP 500), записи будут храниться ещё пять дней.

Проверьте доступ к файлу из корневого домена

Переадресация с domain.com/ads.txt на www.domain.com/ads.txt используется достаточно часто. Обработка файла ads.txt начинается в корневом домене, который должен возвращать результаты из этого файла либо перенаправлять пользователей на адрес файла.

Файл ads.txt, расположенный по адресу www.domain.com/ads.txt, будет обрабатываться только в том случае, если на него выполняется перенаправление с адреса domain.com/ads.txt.

Убедитесь, что файл robots.txt не блокирует сканирование файла ads.txt

Файл ads.txt в вашем домене может быть пропущен поисковыми роботами, если файл robots.txt запрещает следующее:

  • сканирование пути URL к файлу ads.txt;
  • доступ к агенту пользователя робота Google.
Настройки, при которых сканирование файла ads.txt будет заблокировано

Пример для сайта example1.com:

  1. Файл ads.txt размещается по адресу example1.com/ads.txt.
  2. В файле example1.com/robots.txt есть следующие строки:
    User-agent: *
    Disallow: /ads
  3. Файл ads.txt не будет обрабатываться поисковыми роботами, которые следуют инструкциям в файле robots.txt.
  4. Чтобы разрешить сканирование, вы можете внести в файл robots.txt описанные ниже изменения (есть и другие способы).
    • Вариант 1. Измените путь к файлам, обработка которых запрещена. Для этого используйте следующие команды:
      User-agent: *
      Disallow: /ads/
    • Вариант 2. Добавьте разрешение для файла ads.txt. Это указание будет выполняться только роботами, которые распознают директиву Allow в файле robots.txt.
      User-agent: *
      Allow: /ads.txt
      Disallow: /ads
Настройки, при которых агенту пользователя поискового робота Google блокируется доступ к сайту

Пример для сайта example2.com:

  1. Файл ads.txt размещается по адресу example2.com/ads.txt.
  2. В файле example2.com/robots.txt есть следующие строки:
    User-agent: Googlebot
    Disallow: /
  3. Файл ads.txt будет пропущен роботом Google.

Убедитесь, что при запросе файла возвращается код ответа HTTP 200 ОК

Если при запросе файла ads.txt в теле ответа возвращается содержание файла, но при этом код в заголовке ответа говорит о том, что файл не найден (например, если это код 404), происходит следующее:

  • ответ игнорируется;
  • файл считается несуществующим.

Проверьте, чтобы при сканировании файла выдавался код ответа HTTP 200 ОК.

Убедитесь, что в файле нет ошибок форматирования и недопустимых символов

Ошибки форматирования, такие как недопустимые символы пробелов, бывает сложно обнаружить, но из-за них у поискового робота могут возникнуть трудности с обработкой файла ads.txt. Это приведет к тому, что файл будет пропущен. Не копируйте в файлы ads.txt записи из текстовых редакторов с расширенным форматированием. Мы рекомендуем работать с редакторами обычных текстовых файлов.

Обеспечьте доступ к файлу ads.txt по URL с префиксами как HTTP, так и HTTPS

Поисковый робот Google предпринимает попытки обработать файлы ads.txt по URL с префиксами HTTP и HTTPS, но при этом любой код ответа 40X (например, 404) приводит к безвозвратному удалению ранее обработанных записей, даже если робот Google получил доступ к файлу по HTTP. Таким образом, если при обработке через HTTPS будет возвращен код 404 (или 40X), произойдет следующее:

  • Обработанная ранее запись будет удалена без возможности восстановления.

Проверьте, чтобы файл ads.txt был доступен по URL как с HTTP, так и с HTTPS.

Эта информация оказалась полезной?
Как можно улучшить эту статью?