Поисковый робот, который также называют "пауком" или "роботом", – это программное обеспечение, используемое системой Google для того, чтобы обрабатывать и индексировать контент веб-страниц. Робот AdSense заходит на ваш сайт и определяет его содержание с целью размещения релевантных объявлений.
Ниже приведены основные сведения о роботе AdSense.
- Отчет робота обновляется еженедельно.
Сканирование осуществляется автоматически; мы не принимаем запросы на более частое сканирование.
- Робот AdSense отличается от робота Google.
Они работают отдельно, но используют общий кеш. Это сделано для того, чтобы избежать ситуаций, когда они одновременно запрашивают одни и те же страницы, и сохранить пропускную способность сайтов издателей. Также существует отдельный робот Search Console.
- Устранение неполадок с роботом AdSense не решит проблемы с роботом Google.
Устранение проблем, перечисленных на странице Доступ для робота AdSense, не повлияет на позицию вашего сайта в результатах поиска Google. Подробнее о рейтинге сайта в Google рассказывается в статье Как добавить свой сайт в результаты поиска Google.
- Индексирование осуществляется по URL.
Робот осуществляет доступ к адресам site.com и www.site.com по отдельности. При этом он не рассматривает site.com и site.com/#anchor как две разные страницы.
- Робот не осуществляет доступ к страницам или каталогам, заблокированным в файле robots.txt.
Роботы Google и AdSense Mediapartners учитывают информацию в файле robots.txt. Если этот файл запрещает доступ к определенным страницам или каталогам, они не будут просканированы.
Примечание. СтрокаUser-agent: *
не запрещает роботу AdSense сканировать страницы с рекламой. Чтобы закрыть ему доступ к вашим страницам, в файле robots.txt необходимо указатьUser-agent: Mediapartners-Google
. - Робот пытается получить доступ только к страницам с тегами объявлений Google.
Отправлять запросы в наши системы и проходить сканирование должны только те страницы, на которых отображаются объявления Google.
- Робот пытается получить доступ к страницам, с которых осуществляется переадресация.
Если у вас есть исходные страницы, которые переадресовывают пользователей на другие, роботу необходим доступ к этим исходным страницам, чтобы определить наличие переадресации. Поэтому в журналах доступа регистрируются посещения роботом таких страниц.
- Мы не контролируем то, насколько часто робот индексирует контент вашего сайта.
В настоящее время мы не можем настраивать частоту индексирования, поскольку наши роботы выполняют его автоматически. Если вы поменяете что-то на странице, может пройти 1 или 2 недели, прежде чем это отразится в нашем индексе.