Поисковые роботы должны иметь доступ ко всем материалам на вашем сайте. Так вы сможете повысить доход от своего контента. Ниже описано, как оптимизировать ваш сайт для сканирования и устранить возможные проблемы с доступом роботов Google к вашим страницам.
Настройки доступа для поисковых роботов в файле robots.txt
Чтобы поисковые роботы Google могли сканировать ваш сайт, убедитесь, что вы предоставили им доступ.
Если вы указали в файле robots.txt, что поисковый робот Менеджера рекламы не должен сканировать ваши страницы, то объявления Google не смогут на них показываться. Чтобы наши роботы смогли обрабатывать ваш сайт, внесите изменения в файл robots.txt.
Вам потребуется удалить из файла robots.txt следующие строки:
User-agent: Mediapartners-Google
Disallow: /После этого наш поисковый робот сможет индексировать контент, опубликованный на ваших страницах, и на них будут показываться объявления Google.
Изменения в файле robots.txt могут не отражаться в нашем индексе до тех пор, пока роботы Google не попытаются снова проиндексировать ваш сайт.
Доступ к контенту, защищенному паролем
Если для доступа к какому-либо контенту на вашем сайте требуется пароль, настройте вход для роботов.
Если эта функция не используется, сайты иногда перенаправляют роботов на страницу входа (это может привести к нарушению правил, связанному с отсутствием контента) или передают им сообщение об ошибке 401 ("Неавторизованный запрос") либо 407 ("Требуется проверка подлинности на прокси-сервере"). В результате сайт не будет просканирован.
Ошибки категории "Страница не найдена"
Если URL, отправленный в Google, указывает на страницу, которой не существует на сайте, или приводит к появлению сообщения об ошибке 404 ("Страница не найдена"), роботы Google не смогут просканировать контент.
Переопределение URL
Если вы переопределяете используемые на сайте URL в тегах объявлений, то, возможно, роботы Google не смогут получить контент страницы, с которой поступил запрос объявления, особенно если переопределенный URL указан в неправильном формате.
Обычно URL страницы в запросе объявления, который вы отправляете в наши сервисы, должен совпадать с URL страницы, где вы хотите показывать рекламу. Это необходимо для того, чтобы сервисы Google могли получать достоверную информацию о содержании страницы.
Ошибки, связанные с DNS-серверами
Роботам Google не удастся обнаружить ваш контент, если DNS-серверы вашего домена или субдомена некорректно выполняют переадресацию на нужные материалы или если заданы ограничения в отношении источников запросов.
Неработающие или повторяющиеся переадресации
Если на вашем сайте используются переадресации, у роботов Google могут возникнуть проблемы с переходом по ним. Например, если в цепочке переадресаций много шагов и на одном из них произойдет сбой или если в процессе переадресации будут утеряны важные параметры, такие как файлы cookie, то качество сканирования может ухудшиться.
Старайтесь использовать меньше переадресаций на страницах, где размещен код объявлений, и тщательно проверять, правильно ли они работают.
Проблемы с хостингом
Иногда при попытке просканировать сайт серверы не реагируют вовремя, потому что вышли из строя, работают с задержками, перегружены запросами и т. д.
Убедитесь, что ваш поставщик услуг хостинга надежен, а сервер функционирует корректно.
Ограничения, относящиеся к региону, сети или IP-адресу
На некоторых сайтах запрещен доступ для пользователей из отдельных регионов или с определенными IP-адресами. Также бывает, что контент сайта размещен в сети или диапазоне IP-адресов с ограниченным доступом (например, 127.0.0.1).
Рекомендуем снять все ограничения, не позволяющие роботам Google получить доступ к вашим материалам.
Контент, опубликованный совсем недавно
После публикации новой страницы роботы Google могут не успеть просканировать ее, прежде чем она начнет отправлять запросы объявлений. Например, это может относиться к сайтам, на которых регулярно публикуется много нового (в том числе созданного пользователями) контента, такого как новости, выпуски прогноза погоды, а также большие списки товаров.
Обычно при отправке запроса объявления, связанного с новым URL, сканирование контента выполняется в течение нескольких минут. Однако на протяжении этого времени рекламный трафик может быть низким.
Персонализированные страницы, на которых используются параметры URL или динамически создаваемые пути URL
В URL некоторых сайтов добавляется информация, которая имеет отношение только к текущему сеансу. Это могут быть специальные параметры, связанные с выполнившим вход пользователем, например SessionID. В этом случае роботы Google могут посчитать, что URL относится к новой странице, даже если размещенный на ней контент не изменился. Это может привести к тому, что страница будет просканирована спустя несколько минут после первого запроса объявления, а нагрузка на сервер возрастет.
Если контент ваших страниц не зависит от значений URL-параметров, рекомендуем вам удалить эти параметры из URL и передавать информацию на веб-сервер другим способом.
Чем проще структура URL на сайте, тем эффективнее его сканирование.
Данные POST
Если вместе с URL ваш сайт передает данные POST (например, отправляет данные форм в запросе POST), он может отклонять запросы, которые не содержат таких данных. Поскольку роботы Google не предоставляют данные POST, в этом случае у них не будет доступа к вашей странице.
Если контент страницы зависит от данных, указанных пользователем в форме, рекомендуем применять запрос GET.
