Управление сайтами

Ошибки робота AdSense

Если часть вашего сайта недоступна поисковым роботам из-за технических проблем, то, устранив их, вы можете повысить доход. О наиболее частых причинах затруднений читайте далее в этой статье. Подробнее о роботе AdSense читайте здесь.

Разрешение на доступ для поисковых роботов Google в файле robots.txt

Чтобы поисковые роботы Google могли сканировать ваш сайт, убедитесь, что вы предоставили им доступ. Для этого проверьте файл robots.txt. Подробные инструкции приведены в этой статье.

Доступ к контенту, защищенному паролем

Если на вашем сайте есть контент, требующий входа в аккаунт, настройте вход для робота AdSense. Иначе поисковые роботы могут перенаправляться на страницу для входа. В этом случае может возникнуть нарушение правил AdSense "Контент отсутствует". Также возможно, что роботы будут получать ошибку 401 ("Не авторизовано") или 407 ("Требуется аутентификация на прокси-сервере") и не смогут сканировать контент.

Страница не найдена

Если URL, отправленный в Google, указывает на страницу, которой не существует на сайте, или приводит к появлению сообщения об ошибке 404 ("Страница не найдена"), роботы Google не смогут просканировать контент.

Переопределение URL-адресов

Если вы переопределили URL страниц в тегах объявлений, то, возможно, поисковые роботы Google не смогут прочитать контент страницы, где запрашиваются объявления, особенно если переопределенный URL указан в неправильном формате. В большинстве случаев URL-адрес, содержащийся в ваших запросах объявлений Google, должен соответствовать URL-адресу страницы, где показываются эти объявления. Это важно для того, чтобы рекламная сеть Google получала правильную информацию о контексте.

Проблемы с DNS-серверами

Если DNS-серверы для вашего домена или субдомена не перенаправляют поисковых роботов на нужные страницы с контентом или в этих серверах реализован запрет на обработку запросов из некоторых источников, то поисковые роботы могут не найти ваш контент.

Неправильно реализованная переадресация

Если на вашем сайте используется переадресация, то не исключено, что она не будет корректно работать для поискового робота. Например, если в цепочке переадресаций много шагов и на одном из них произойдет сбой или если в процессе переадресации будут утеряны важные параметры, такие как идентификаторы файлов cookie, то качество сканирования может ухудшиться. Старайтесь использовать меньше переадресаций на страницах, где размещен код объявлений, и тщательно проверять, правильно ли реализованы переадресации.

Проблемы с хостингом

Иногда поисковые роботы Google не могут прочитать контент сайта, потому что сервер, на котором размещен сайт, не отвечает на запросы своевременно. Это может произойти, если сервер вышел из строя, работает слишком медленно или перегружен запросами. Поэтому мы рекомендуем размещать сайты на надежных серверах или хостингах.

Ограничения в отношении географического положения, сети или IP-адреса

На некоторых сайтах запрещен доступ для клиентов из определенных регионов или с определенными IP-адресами. Также бывает, что контент сайта размещен в сети или диапазоне IP-адресов с ограниченным доступом (например, 127.0.0.1). Если эти ограничения не позволяют поисковым роботам Google сканировать некоторые страницы вашего сайта, возможно, имеет смысл удалить ограничения или сделать контент общедоступным.

Контент, опубликованный совсем недавно

Если вы только что опубликовали новую страницу, то первые запросы объявлений с нее могут поступить раньше, чем роботы Google просканируют ее контент. Такое часто бывает на сайтах, регулярно публикующих много нового контента (в том числе созданного пользователями), таких как сайты новостей, крупные интернет-магазины и сервисы прогноза погоды. Как правило, когда поступает запрос объявления с новым URL, страница сканируется в течение нескольких минут после этого. Однако на протяжении этого времени рекламный трафик может быть низким.

Персонализированные страницы (где используются URL-параметры или динамически создаваемые URL)

На некоторых сайтах в URL страниц добавляются дополнительные параметры. Такие параметры могут содержать идентификатор пользователя, вошедшего в свой аккаунт на сайте, (например, SessionID) или другую информацию, различающуюся для разных посетителей сайта. В таких случаях поисковые роботы Google могут обработать новый URL как новую страницу, даже если он указывает на старый контент. Это может привести к задержке сканирования страницы на несколько минут. Кроме того, может возрасти нагрузка на ваш сайт из-за обслуживания поисковых роботов. Если контент ваших страниц не зависит от значений URL-параметров, возможно, имеет смысл удалить эти параметры из URL и передавать информацию другим способом. Чем проще структура URL-адресов на сайте, тем эффективнее его сканирование.

Использование запросов POST для передачи данных

Если ваш сайт отправляет запросы POST вместе с URL (например, в запросах POST передаются данные из формы, заполняемой пользователем), то, возможно, сайт отклоняет запросы, не сопровождающиеся данными POST. Поскольку поисковые роботы Google не отправляют данные POST, в этом случае они не смогут сканировать ваши страницы. Поэтому если контент сайта изменяется в зависимости от информации, которую пользователь указывает в форме, рекомендуем использовать запросы GET.

Была ли эта статья полезна?
Как можно улучшить эту статью?