Как предотвратить проблемы со сканированием файла ads.txt роботом Google

С помощью файла ads.txt можно указывать, кому разрешено продавать рекламу на вашем сайте, а также обезопасить покупателей от поддельного инвентаря. Поэтому важно предоставить поисковому роботу Google доступ к своему файлу ads.txt.

Когда вы создадите файл ads.txt и загрузите его в корневой домен сайта, поисковый робот Google будет выполнять следующие действия:

• сканировать файл;
• проверять, указаны ли в файле ads.txt идентификаторы продавцов, которым разрешено получать доход от вашего сайта.

Примечание. Внесенные в файл ads.txt изменения вступят в силу через несколько дней. Если сайт запрашивает мало объявлений, процедура может занять до месяца.

Из этого видео вы узнаете, как предотвратить проблемы со сканированием файла ads.txt.

Обнаружение проблем со сканированием файла ads.txt

Прежде всего следует изучить коды статуса HTTP.

Чтобы роботы могли сканировать файл ads.txt, следуйте приведенным ниже инструкциям.

• Проверьте, когда был загружен файл ads.txt
• Проверьте, не является ли файл ads.txt временно недоступным
• Убедитесь, что файл ads.txt доступен в корневом домене сайта
• Убедитесь, что файл robots.txt не блокирует сканирование
• Убедитесь, что при запросе файла ads.txt возвращается код статуса HTTP 200 OK
• Убедитесь, что в файле ads.txt нет ошибок форматирования и недопустимых символов
• Обеспечьте доступ к файлу ads.txt по URL с префиксами как HTTP, так и HTTPS

Проверьте, когда был загружен файл ads.txt

Если вы загрузили файл ads.txt всего несколько дней назад, возможно, обновления ещё не были получены и проверены в AdSense. Если ваш сайт отправляет мало запросов объявлений или у него низкий трафик, то проверка может занять до месяца.

Не удаляйте ads.txt, если он настроен правильно. Любые изменения, внесенные в файл ads.txt, повлияют на время проверки.

Проверьте, не является ли файл ads.txt временно недоступным

Если ранее отсканированный файл ads.txt будет недоступен при следующем сканировании, то действия с уже полученными записями будут зависеть от кода статуса в ответе:

Попробуйте открыть файл по адресу domain.com/ads.txt:

• Если вы получите код ошибки HTTP 404, значит файл не существует. В этом случае все старые записи удаляются.
• Если возникает ложная ошибка 404 (код статуса HTTP 200 из-за того, что по запросу несуществующего URL возвращается существующая страница) или внутренняя ошибка сервера (код статуса HTTP 500), записи будут храниться до пяти дней.

Убедитесь, что файл ads.txt доступен в корневом домене сайта

Проверьте, правильно ли вы указали URL. Нужно ли указывать префикс "www" для доступа к этому сайту (например, www.domain.com)?

Сканирование файла ads.txt начинается в корневом домене, и этот запрос должен возвращать содержимое файла ads.txt или перенаправление на его правильный адрес.

• Файл ads.txt, расположенный по адресу www.domain.com/ads.txt, будет сканироваться только в том случае, если на него выполняется перенаправление с адреса domain.com/ads.txt.

Если префикс “www” является обязательным для доступа к сайту, следует настроить переадресацию с domain.com/ads.txt на www.domain.com/ads.txt.

Если вам нужна помощь с настройкой переадресации, обратитесь к своему поставщику услуг.

Убедитесь, что файл robots.txt не блокирует сканирование

Файл ads.txt в вашем домене может быть пропущен поисковыми роботами, если файл robots.txt запрещает следующее:

• сканирование пути URL к файлу ads.txt;
• работу определенного поискового робота (агента пользователя).

Вы можете изменить файл robots.txt так, чтобы разрешить доступ для поисковых роботов Google к файлу ads.txt.

Пример настроек, при которых сканирование файла ads.txt будет заблокировано

В файле example1.com/robots.txt есть следующие строки:

User-agent: *
Disallow: /ads

Это означает, что файл ads.txt не будет обрабатываться поисковыми роботами, которые следуют инструкциям в файле robots.txt.

У вас есть несколько способов исправить файл robots.txt, чтобы разрешить сканирование файла ads.txt:

• Вариант 1. Измените запрещенный путь.

  User-agent: *
Disallow: /ads/

• Вариант 2. Добавьте разрешение конкретно для файла ads.txt.

  User-agent: *
Allow: /ads.txt
Disallow: /ads

Примечание. Это лишь несколько примеров, есть и другие способы исправить файл robots.txt.

Пример настроек, при которых поисковому роботу Google запрещено сканирование

В файле example2.com/robots.txt есть следующие строки:

User-agent: Googlebot
Disallow: /

Это означает, что поисковый робот Google будет игнорировать файл ads.txt.

У вас есть несколько способов изменить файл robots.txt, чтобы разрешить доступ для поискового робота Google к файлу ads.txt:

• Вариант 1. Удалите значение " / " из инструкции Disallow:

  User-agent: Googlebot
Disallow:

• Вариант 2. Добавьте разрешение доступа для Googlebot к файлу ads.txt.

  User-agent: Googlebot
Allow: /ads.txt

Примечание. Любые изменения в файле robots.txt могут быть учтены только после того, как поисковый робот снова попытается проверить ваш сайт.

Убедитесь, что при запросе файла ads.txt возвращается код статуса HTTP 200 OK

Если при запросе файла ads.txt в теле ответа возвращается содержимое файла, но при этом код статуса в заголовке ответа означает, что файл не найден (например, код статуса 404), происходит следующее:

• ответ игнорируется;
• файл считается несуществующим.

Проверьте заголовок ответа и убедитесь, что файл ads.txt имеет код статуса HTTP 200 OK. Код статуса HTTP 200 OK указывает на то, что файл ads.txt создан и размещен правильно, и запросы к нему выполняются успешно.

Убедитесь, что в файле ads.txt нет ошибок форматирования и недопустимых символов

Очень важно убедиться, что в файле ads.txt нет опечаток, лишних пробелов, ненужных запятых и других ошибок.

Некоторые ошибки форматирования, например недопустимые символы пробелов, бывает сложно обнаружить, но из-за них у поискового робота могут возникнуть трудности с обработкой файла ads.txt, и в результате файл будет проигнорирован.

Сравните код файла ads.txt с кодом в аккаунте AdSense. Файл ads.txt должен выглядеть примерно так:

google.com, pub-0000000000000000, DIRECT, f08c47fec0942fa0

Значение идентификатора издателя должно совпадать с тем, которое указано в аккаунте AdSense.

Не копируйте в файл ads.txt записи из текстовых редакторов с расширенным форматированием, которые могут добавлять лишние метаданные или форматирование. Мы рекомендуем использовать редактор для обычного текста. Вы также можете проверить свой файл ads.txt на наличие недопустимых символов UTF-8 с помощью шестнадцатеричного редактора.

Обеспечьте доступ к файлу ads.txt по URL с префиксами как HTTP, так и HTTPS

Поисковый робот Google предпринимает попытки сканировать файлы ads.txt по протоколам HTTP и HTTPS. Убедитесь, что файл ads.txt доступен по обоим из них. В противном случае следует настроить переадресацию.

Пример. Если файл ads.txt доступен только для HTTP, то при сканировании через HTTPS будет возвращаться код статуса 404. В этом случае обработанная ранее запись будет удалена без возможности восстановления, даже хотя через HTTP файл ads.txt был просканирован. Для таких ситуаций используется переадресация.

Дальнейшие действия зависят от следующих условий:

• Доступ возможен только по HTTP (например, http://domain.com/ads.txt). Настройте переадресацию так, чтобы запрос поискового робота по адресу https://domain.com/ads.txt возвращал переадресацию на адрес http://domain.com/ads.txt.
• Доступ возможен только по HTTPS (например, https://domain.com/ads.txt). Настройте переадресацию так, чтобы запрос поискового робота по адресу http://domain.com/ads.txt возвращал переадресацию на адрес https://domain.com/ads.txt.
• Доступ возможен по протоколам HTTP и HTTPS. Запросы по адресам http://domain.com/ads.txt и https://domain.com/ads.txt должны возвращать одинаковый файл ads.txt.

Если вам нужна помощь с настройкой переадресации, обратитесь к своему поставщику услуг.

Примечание. Узнайте больше о том, как устранять неполадки с файлом ads.txt.