검색
검색어 지우기
검색 닫기
Google 앱
기본 메뉴

Google 크롤러

Google에서 웹 크롤링에 사용하는 로봇 보기

'크롤러'는 로봇 또는 스파이더와 같이 웹페이지 간 링크를 따라 웹사이트를 자동으로 검색 및 검사하는 데 사용되는 프로그램을 가리키는 일반적인 용어입니다. Google의 기본 크롤러를 Googlebot이라고 합니다. 다음 표는 리퍼러 로그에서 볼 수 있는 일반적인 Google 크롤러와 이러한 크롤러를 robots.txt, robots 메타 태그, X-Robots-Tag HTTP 명령어에 지정하는 방법에 관한 정보를 제공합니다.

크롤러 사용자 에이전트 토큰 전체 사용자 에이전트 문자열(웹사이트 로그 파일에 표시)
APIs-Google APIs-Google APIs-Google(+https://developers.google.com/webmasters/APIs-Google.html)
애드센스 Mediapartners-Google
Mediapartners(Googlebot)
Mediapartners-Google

AdsBot 모바일웹 Android

(Android 웹페이지 광고 품질 확인)

AdsBot-Google-Mobile Mozilla/5.0(Linux; Android 5.0; SM-G920A) AppleWebKit(KHTML, like Gecko) Chrome Mobile Safari(compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot 모바일 웹

(iPhone 웹페이지 광고 품질 확인)

AdsBot-Google-Mobile Mozilla/5.0(iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46(KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1(compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(데스크톱 웹페이지 광고 품질 확인)

AdsBot-Google AdsBot-Google(+http://www.google.com/adsbot.html)
Googlebot 이미지 Googlebot-Image(Googlebot) Googlebot-Image/1.0
Googlebot 뉴스 Googlebot-News(Googlebot) Googlebot-News
Googlebot 동영상 Googlebot-Video(Googlebot) Googlebot-Video/1.0

Googlebot

(데스크톱)

Googlebot

Mozilla/5.0(compatible; Googlebot/2.1; +http://www.google.com/bot.html)

또는(거의 사용되지 않음):

Googlebot/2.1(+http://www.google.com/bot.html)

Googlebot

(스마트폰)

Googlebot

Mozilla/5.0(Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36(KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36(compatible; Googlebot/2.1; +http://www.google.com/bot.html)

모바일 애드센스

Mediapartners-Google

또는

Mediapartners(Googlebot)

(다양한 휴대기기 유형)(compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

모바일 앱 Android

(Android 앱 페이지 광고 품질 확인, AdsBot-Google 로봇 규칙 준수)

AdsBot-Google-Mobile-Apps AdsBot-Google-Mobile-Apps

robots.txt

robots.txt 파일에서 여러 개의 user-agent가 인식되는 경우 Google에서는 가장 구체적인 user-agent를 추적합니다. Google 전체에서 내 페이지를 크롤링할 수 있게 하려면 robots.txt 파일을 사용할 필요가 없습니다. 모든 Google 크롤러에 대해 내 콘텐츠 일부에 액세스하는 것을 차단 또는 허용하려면 Googlebot을 user-agent로 지정하면 됩니다. 예를 들어 나의 모든 페이지가 Google 검색에 표시되고 애드센스 광고가 내 페이지에 표시되도록 하려면 robots.txt 파일을 사용할 필요가 없습니다. 마찬가지로 내 페이지 일부를 Google 전체에 대해 차단하려는 경우 user-agent Googlebot을 차단하면 Google의 다른 user-agent도 모두 차단됩니다.

그러나 좀 더 구체적으로 지정하면 더욱 세밀하게 제어할 수 있습니다. 예를 들어 모든 페이지가 Google 검색에 표시되기를 원하지만 개인 디렉토리에 있는 이미지는 크롤링되지 않기를 원할 수 있습니다. 이 경우 다음과 같이 robots.txt를 사용해 사용자 에이전트 Googlebot-image가 /personal 디렉토리에 있는 파일을 크롤링하지 못하게 할 수 있습니다(Googlebot은 모든 파일을 크롤링할 수 있음).

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
다른 예를 들면 모든 페이지에 광고가 표시되도록 하고 싶지만 이러한 페이지가 Google 검색에는 나타나지 않도록 하고 싶을 수 있습니다. 이 경우 다음과 같이 Googlebot은 차단하고 Mediapartners-Google은 허용하면 됩니다.
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

로봇 메타 태그

일부 페이지는 다음과 같이 여러 개의 robots meta 태그를 사용하여 각기 다른 크롤러에 대해 명령어를 지정합니다.

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

이 경우 Google에서는 부정 명령어의 합계를 사용하고 Googlebot은 noindexnofollow 명령어를 모두 따릅니다. Google의 사이트 크롤링 및 색인 생성 방법 제어에 관해 자세히 알아보기

이 도움말이 도움이 되었나요?
어떻게 하면 개선할 수 있을까요?