Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню

Проверка поискового робота

Вы можете убедиться, что ваш сайт сканирует робот Googlebot или иной поисковый робот Google. Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники. Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Они могут изменяться, что вызовет проблемы на сайтах, где эти адреса указаны в коде. Поэтому мы рекомендуем выполнить DNS-запрос следующим образом:

Как убедиться, что сайт сканируется роботом Googlebot:

  1. С помощью команды host выполните обратный DNS-запрос IP-адреса, который можно узнать в журнале.
  2. Убедитесь, что доменное имя – googlebot.com или google.com
  3. С помощью команды host выполните прямой запрос DNS на преобразование доменного имени, которое вы узнали на шаге 1. IP-адрес, полученный в результате, и исходный должны совпадать.

Пример 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

Пример 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

Была ли эта статья полезна?
Как можно улучшить эту статью?