크롤러는 스파이더 또는 봇이라고도 하며 웹페이지 콘텐츠를 처리하고 색인하기 위해 Google에서 사용하는 소프트웨어입니다. 사이트의 콘텐츠와 관련성이 있는 광고를 게재하기 위해 콘텐츠 크롤러가 사이트를 방문하여 콘텐츠를 확인합니다.
콘텐츠 크롤러에 대해 알아야 할 중요 사항:
- 크롤러 보고서는 주 1회 업데이트됩니다.
크롤링은 자동으로 실행되며, 크롤링 빈도를 늘려달라는 요청이 있어도 수용할 수 없습니다. - 콘텐츠 크롤러는 Google 크롤러와 다릅니다.
이 두 크롤러는 따로 작동하지만 캐시를 공유합니다. 그래야만 두 크롤러에서 동일한 페이지를 요청하여 대역폭이 중복 소비되는 상황을 방지할 수 있습니다. 이와 마찬가지로 Search Console 크롤러도 따로 작동합니다. - 콘텐츠 크롤러 문제를 해결해도 Google 크롤링 문제가 해결되지 않습니다.
크롤러 액세스 페이지에 표시된 문제를 해결해도 Google 검색 순위에 영향을 미치지 않습니다.참고: Google에서 사이트의 순위에 대해 자세히 알아보려면 Google 검색결과에 사이트가 포함되게 하는 방법을 참고하세요. - 크롤러 색인 생성은 URL을 기준으로 합니다.
예를 들어 Google 크롤러는 'site.com'과 'www.site.com'에 별도로 액세스합니다. 하지만 Google 크롤러는 'site.com'과 'site.com/#anchor'를 별개의 사이트로 인식하지 않습니다. - 크롤러는 robots.txt 파일로 차단된 페이지나 디렉터리는 액세스하지 않습니다.
Google 크롤러 및 AdMob Mediapartners 크롤러는 모두 게시자가 사용하는 robots.txt 파일의 명령을 따릅니다. robots.txt 파일이 특정 페이지나 디렉터리에 대한 액세스를 차단할 경우 해당 페이지나 디렉터리에서는 크롤링이 실행되지 않습니다.참고:User-agent: *행을 지정하여 로봇 액세스를 차단한 페이지에 광고를 게재하더라도 콘텐츠 크롤러는 이 페이지를 크롤링합니다. 해당 페이지에 대한 콘텐츠 크롤러의 액세스를 차단하려면 robots.txt 파일에User-agent: Mediapartners-Google을 지정해야 합니다.Google 크롤러에 페이지 액세스 권한을 부여하는 방법을 자세히 알아보세요. - 크롤러는 광고 태그가 구현된 URL만 액세스합니다.
Google 광고를 게재하는 페이지에 대해서만 크롤링을 요청해야 합니다. - 크롤러는 리디렉션하는 페이지도 액세스하려고 시도합니다.
다른 페이지로 리디렉션되는 '원본 페이지'가 있을 경우 Google 크롤러가 원본 페이지를 액세스하여 리디렉션이 작동되는지 확인해야 합니다. 따라서 게시자의 액세스 로그에 Google 크롤러가 원본 페이지를 방문했다는 것이 기록됩니다. - Google 크롤러가 사이트의 콘텐츠 색인을 생성하는 빈도를 조절할 수 없습니다.
현재 크롤링은 Google 봇에 의해 자동으로 실행됩니다. 페이지 변경사항이 Google 색인에 반영되려면 최대 1~2주가 소요될 수 있습니다.