크롤러는 스파이더 또는 봇이라고도 하며 웹페이지 콘텐츠를 처리하고 색인하는 Google의 소프트웨어입니다. 관련성 있는 광고를 게재하려면 Ad Manager 크롤러가 사이트를 방문하여 콘텐츠를 확인해야 합니다.
다음은 Ad Manager 크롤러에 대해 알아야 할 중요한 정보입니다.
- Ad Manager 크롤러는 Google 크롤러와 다릅니다. 두 크롤러는 따로 작동하지만 캐시를 공유합니다. 이렇게 하는 이유는 두 크롤러에서 동일한 페이지를 요청하여 게시자의 대역폭이 중복 소비되는 것을 방지하기 위해서입니다. 이와 마찬가지로 웹마스터 도구 크롤러도 독자적으로 작동합니다.
- Ad Manager 크롤러의 문제를 해결해도 Google 크롤러의 문제가 해결되지는 않습니다. Ad Manager 크롤러 관련 문제를 해결해도 Google 검색결과 내 게재위치에 영향을 주지 않습니다. Google에서 사이트의 게재순위에 대해 자세히 알아보려면 Google 검색결과에 사이트가 포함되게 하는 방법을 참조하세요.
- 크롤러 색인은 URL을 기준으로 합니다. Google 크롤러는 site.com 및
www.site.com에 대한 별도의 액세스 권한을 얻습니다. 그러나 Google 크롤러는site.com및site.com/#anchor를 개별 URL로 인식하지 않습니다. - 크롤러는 robots.txt 파일에서 금지한 페이지나 디렉터리에 액세스하지 않습니다. Google 및 Ad Manager 파트너 크롤러는 모두 robots.txt 파일을 참조합니다. 따라서 robot.txt 파일에 특정 페이지나 디렉터리에 대한 액세스가 금지되어 있으면 해당 페이지나 디렉터리에서는 크롤링이 실행되지 않습니다.
Ad Exchange 크롤러는
User-agent: *구문을 사용해 로봇 액세스를 차단한 페이지에 광고를 게재하더라도 해당 페이지를 크롤링합니다. Ad Exchange 크롤러가 페이지에 액세스하는 것을 차단하려면User-agent: Mediapartners-Google을 robots.txt 파일에 지정해야 합니다.robots.txt 파일에서 크롤러 액세스를 제공하는 방법에 대해 자세히 알아보세요.
- 크롤러는 광고 태그가 구현된 URL만 액세스합니다. Google 광고를 게재하는 페이지만 Google 시스템에 광고 요청을 전송하고 크롤링되어야 합니다.
- 크롤러는 리디렉션하는 원본 페이지도 액세스합니다. 다른 페이지로 리디렉션되는 '원본 페이지'가 있을 경우 Google 크롤러는 원본 페이지를 액세스하여 리디렉션이 작동되는지 확인해야 합니다. 따라서 게시자의 액세스 로그에 Google 크롤러가 원본 페이지를 방문했다는 것이 기록됩니다.
- Google은 언제 내 사이트를 다시 크롤링하나요? 현재로서는 Google 크롤러에서 사이트의 콘텐츠에 대해 색인을 생성하는 빈도를 제어할 수 없습니다. 크롤링은 Ad Exchange 크롤러에 의해 자동으로 실행됩니다. 페이지 변경사항이 Ad Exchange 색인에 반영되려면 최대 1~2주가 소요될 수 있습니다.
