Поисковый робот, который также называют "пауком" или "роботом", – это программное обеспечение, используемое системой Google для обработки и индексирования контента веб-страниц. Робот заходит на сайт и определяет его содержание с целью размещения релевантных объявлений.
Ниже приведены основные сведения о поисковом роботе.
- Отчет робота обновляется еженедельно.
Сканирование осуществляется автоматически. Мы не принимаем запросы на более частое сканирование. - Поисковый робот отличается от робота Google.
Эти два робота работают отдельно, но используют общий кэш. Это сделано для того, чтобы избежать ситуаций, когда они одновременно запрашивают одни и те же страницы, и сохранить пропускную способность сайтов издателей. Также существует отдельный робот Search Console. - Устранение неполадок с поисковым роботом не решит проблемы с роботом Google.
Устранение проблем, перечисленных на странице "Доступ для робота AdSense", не окажет влияния на позицию сайта в результатах поиска Google. Подробнее о рейтинге сайта в Google читайте в статье Как добавить свой сайт в результаты поиска Google. - Индексирование осуществляется по URL.
Доступ робота к адресам site.com и www.site.com осуществляется раздельно. Однако робот не рассматривает site.com и site.com/#anchor как две разные страницы. - Робот не осуществляет доступ к страницам или каталогам, заблокированным в файле robots.txt.
Роботы Mediapartners Google и AdMob учитывают данные в файле robots.txt. Если файл robot.txt запрещает доступ к определенным страницам или каталогам, они не будут просканированы.Обратите внимание: если вы показываете объявления на страницах, сканирование которых запрещено строкой User-agent: *, робот не запрещает сканирование страниц с рекламой. Чтобы запретить роботу доступ на страницы, в файле robots.txt необходимо указатьUser-agent: Mediapartners-Google. Подробнее… - Робот пытается получить доступ только к страницам с тегами объявлений Google.
Только те страницы, на которых отображаются объявления Google, будут обращаться к нашим системам и сканироваться. - Робот пытается получить доступ к страницам, с которых осуществляется переадресация.
Если с ваших "исходных страниц" выполняется переадресация на другие страницы, наш робот должен получить доступ к исходным страницам, чтобы определить наличие переадресации. Поэтому в журналах доступа регистрируются посещения роботом исходных страниц. - Повторное сканирование сайта
В настоящее время мы не можем управлять частотой сканирования: наши роботы выполняют его автоматически. Если вы что-то поменяете на странице, может пройти 1 или 2 недели, прежде чем это отразится в нашем индексе.