Проверка поискового робота

Вы можете убедиться, что ваш сайт сканирует робот Googlebot или иной поисковый робот Google. Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники. Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Они могут изменяться, что вызовет проблемы на сайтах, где эти адреса указаны в коде. Поэтому мы рекомендуем выполнить DNS-запрос следующим образом:

Как убедиться, что сайт сканируется роботом Googlebot:

  1. С помощью команды host выполните обратный DNS-запрос IP-адреса, который можно узнать в журнале.
  2. Убедитесь, что доменное имя – googlebot.com или google.com.
  3. С помощью команды host выполните прямой запрос DNS на преобразование доменного имени, которое вы узнали на шаге 1. IP-адрес, полученный в результате, и исходный должны совпадать.

Пример 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

Пример 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

Была ли эта статья полезна?