웹사이트 관리

애드센스 크롤러 정보

크롤러는 스파이더 또는 로봇이라고도 하며 웹페이지 콘텐츠를 확인한 후 색인하는 Google의 소프트웨어입니다. 게시자의 사이트와 관련성이 높은 광고를 게재하기 위해 애드센스 크롤러가 해당 사이트를 방문하여 콘텐츠를 확인합니다.

다음은 애드센스 크롤러에 대해 알아야 할 중요한 정보입니다.

  • 크롤러 보고서는 주 1회 업데이트됩니다.

    크롤러는 자동으로 실행되며 크롤링 주기를 늘리거나 줄일 수 없습니다.

  • 애드센스 크롤러는 Google 크롤러와 다릅니다.

    두 크롤러는 따로 작동하지만 캐시를 공유합니다. 이렇게 하는 이유는 두 크롤러에서 동일한 페이지를 요청하여 게시자의 대역폭이 중복 소비되는 것을 방지하기 위해서입니다. 이와 마찬가지로 Search Console 크롤러도 독자적으로 작동합니다.

  • 애드센스 크롤러의 문제를 해결해도 Google 크롤러 문제가 해결되지는 않습니다.

    크롤러 액세스 페이지에 보고된 문제를 해결해도 Google 검색결과 내 게재위치에 영향을 주지 않습니다. Google에서의 사이트 순위에 대해 자세히 알아보려면 Google 검색결과에 사이트가 포함되게 하는 방법을 참조하세요.

  • 크롤러 색인은 URL을 기준으로 합니다.

    애드센스 크롤러는 site.com과 www.site.com은 별개의 사이트로 인식하지만 site.com과 site.com/#anchor는 별개의 사이트로 인식하지 않습니다.

  • 크롤러는 robots.txt 파일에 명시된 페이지나 디렉토리는 액세스하지 않습니다.

    Google 및 애드센스 Mediapartners 크롤러는 모두 게시자의 robots.txt 파일을 참조합니다. 이 파일에 특정 페이지나 디렉토리에 대한 액세스가 차단되어 있으면 해당 페이지나 디렉토리에서는 크롤링이 실행되지 않습니다.

    User-agent: *로 지정되어 로봇 액세스가 차단된 페이지에 광고를 게재하더라도 애드센스 크롤러는 이 페이지를 크롤링합니다. 해당 페이지에 대한 애드센스 크롤러의 액세스를 차단하려면 robots.txt 파일에 User-agent: Mediapartners-Google을 지정해야 합니다. 자세히 알아보기
  • 크롤러는 광고 태그가 구현된 URL만 액세스합니다.

    Google 광고를 게재하는 페이지에 대해서만 크롤링을 요청해야 합니다.

  • 크롤러는 리디렉션하는 원본 페이지도 액세스합니다.

    다른 페이지로 리디렉션되는 '원본 페이지'가 있을 경우 애드센스 크롤러가 원본 페이지를 액세스하여 리디렉션이 작동되는지 확인해야 합니다. 따라서 게시자의 액세스 로그에 애드센스 크롤러가 원본 페이지를 방문했다는 것이 기록됩니다.

  • 사이트 재크롤링

    현재는 애드센스 크롤러가 웹사이트의 콘텐츠에 대해 색인을 생성하는 빈도를 제어할 수 없습니다. 크롤링은 애드센스 크롤러에 의해 자동으로 실행됩니다.페이지 변경사항이 애드센스 색인에 반영되려면 최대 1~2주가 소요될 수 있습니다.

도움이 되었나요?
어떻게 하면 개선할 수 있을까요?

도움이 더 필요하신가요?

로그인하여 추가 지원 옵션으로 문제를 빠르게 해결하세요.