Googlebot 확인

서버에 액세스하는 웹 크롤러가 Googlebot인지 아니면 다른 Google 사용자 에이전트인지 확인할 수 있습니다. 이 방법으로 스팸 발송자나 악의적 사용자가 Googlebot을 가장하여 사이트에 액세스하는 것을 방지할 수 있습니다. Google에서는 웹마스터가 허용 목록에 추가하도록 IP 주소의 공개 목록을 게시하지 않습니다. 이렇게 하는 이유는 IP 주소 범위가 변경될 수 있고 이로 인해 IP 주소 범위를 하드코딩하는 웹마스터에게 문제가 발생할 수 있기 때문입니다. 따라서 다음에 설명된 내용대로 DNS 조회를 실행해야 합니다.

발신자가 Googlebot인지 확인하는 방법:

  1. host 명령어를 사용해 로그의 액세스 IP 주소에 대해 역 DNS 조회를 실행합니다.
  2. 도메인 이름이 googlebot.com 또는 google.com인지 확인합니다.
  3. 검색된 도메인 이름에서 host 명령어를 사용해 1단계에서 검색된 도메인 이름에 대해 순 DNS 조회를 실행합니다. 로그의 원래 액세스 IP 주소와 동일한지 확인합니다.

예시 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

예시 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

이 도움말이 도움이 되었나요?
어떻게 하면 개선할 수 있을까요?