완전히 크롤링할 수 있는 사이트를 통해 콘텐츠로 더 많은 수익을 올리세요. 크롤링에 적합하도록 사이트를 최적화하려면 크롤링에 영향을 미칠 수 있는 다음 문제를 모두 고려하는 것이 좋습니다.
robots.txt에서 Google 크롤러에 액세스 권한 부여
Google 크롤러가 사이트를 크롤링하려면 게시자가 Google 크롤러에 액세스 권한을 부여해야 합니다.
Ad Manager 크롤러가 페이지의 색인을 생성하지 못하도록 사이트의 robots.txt 파일을 수정했다면 이러한 페이지에서는 Google 광고를 게재할 수 없습니다. Google 크롤러가 페이지에 액세스할 수 있도록 robots.txt 파일을 업데이트하세요.
robots.txt 파일에서 다음 두 줄을 삭제합니다.
User-agent: Mediapartners-Google
Disallow:이렇게 하면 Google 크롤러가 사이트 콘텐츠의 색인을 생성하고 Google 광고를 게재합니다.
robots.txt 파일을 변경해도 Google 크롤러가 사이트를 다시 방문할 때까지는 변경사항이 색인에 반영되지 않을 수 있습니다.
로그인이 필요한 콘텐츠에 액세스 권한 제공
로그인이 필요한 콘텐츠의 경우 크롤러 로그인 정보를 설정했는지 확인해야 합니다.
Google 크롤러에 로그인 정보를 제공하지 않으면 Google 크롤러가 로그인 페이지로 리디렉션되어 '콘텐츠 없음' 정책 위반이 발생할 수도 있습니다. 또한, Google 크롤러가 401(권한 없음) 또는 407(프록시 인증 필요) 오류로 인해 콘텐츠를 크롤링하지 못할 수도 있습니다.
'페이지를 찾을 수 없음' 오류
Google로 전송된 URL이 사이트에 존재하지 않는(또는 더 이상 존재하지 않는) 페이지를 가리키거나 404 오류('찾을 수 없음')를 발생시키는 경우에는 Google 크롤러가 콘텐츠를 제대로 크롤링하지 못합니다.
URL 재정의
광고 태그에서 페이지 URL을 재정의하면, 특히 변경된 페이지 URL의 형식이 잘못된 경우 Google 크롤러가 광고를 요청하는 페이지의 콘텐츠를 가져오지 못할 수도 있습니다.
일반적으로 Google에서 적절한 문맥 정보가 사용될 수 있도록 광고 요청에서 Google에 보내는 페이지 URL은 수익 창출 페이지의 실제 URL과 일치해야 합니다.
네임서버 문제
도메인 또는 하위 도메인의 네임서버가 Google 크롤러를 콘텐츠에 제대로 연결하지 못하거나, 요청의 출처에 제한사항이 있으면 Google 크롤러가 콘텐츠를 찾지 못할 수 있습니다.
손상되었거나 중복된 리디렉션
리디렉션이 포함된 사이트의 경우 리디렉션 중에 Google 크롤러에 문제가 발생할 수 있습니다. 예를 들어 리디렉션이 많이 있는 사이트에서 중간 리디렉션이 실패하거나 리디렉션 중 쿠키와 같은 중요한 매개변수가 삭제되면 크롤링 품질이 저하될 수 있습니다.
광고 코드가 포함된 페이지에서 리디렉션 사용을 최소화하고 리디렉션이 제대로 구현되는지 확인하세요.
웹호스트 문제
Google 크롤러가 사이트 콘텐츠에 액세스하려고 할 때 웹사이트의 서버가 제때에 응답하지 못할 수 있습니다. 이는 서버가 다운되거나, 느려지거나, 요청에 의해 과부하가 걸리는 경우 발생할 수 있습니다.
신뢰할 수 있는 서버에서 또는 신뢰할 수 있는 서비스 업체를 통해 사이트가 호스팅되는지 확인하는 것이 좋습니다.
지역, 네트워크 또는 IP 제한사항
사이트에 따라 콘텐츠에 액세스할 수 있는 지역 또는 IP 범위를 제한하는 위치 제한이 설정되어 있거나 제한된 네트워크 또는 IP 범위(예: 127.0.0.1)에 게시된 콘텐츠가 있을 수 있습니다.
제한사항으로 인해 Google 크롤러가 이러한 일부 페이지에 액세스하지 못한다면 URL을 크롤링할 수 있도록 제한사항을 없애거나 콘텐츠를 공개해 보세요.
새 콘텐츠 게시
페이지를 새로 게시하면 Google 크롤러가 콘텐츠를 크롤링하기 전에 광고가 요청될 수 있습니다. 새 콘텐츠를 많이 게시하는 사이트의 예로는 뉴스 사이트, 사용자 제작 콘텐츠나 대규모 제품 인벤토리를 활용하는 사이트, 날씨 사이트 등이 있습니다.
일반적으로 새 URL에 광고 요청이 이루어진 후 몇 분 이내에 콘텐츠가 크롤링됩니다. 이 몇 분 동안에는 콘텐츠가 아직 크롤링되지 않아 게재되는 광고가 적을 수 있습니다.
URL 매개변수 또는 동적으로 생성된 URL 경로를 사용한 페이지 맞춤설정
일부 웹사이트의 경우 로그인한 사용자(예: SessionID) 또는 각 방문의 고유한 기타 정보를 나타내는 추가 매개변수가 URL에 포함됩니다. 이 경우 동일한 콘텐츠라도 Google 크롤러가 URL을 새 페이지로 처리할 수 있습니다. 이로 인해 페이지의 첫 번째 광고 요청과 페이지 크롤링 사이에 몇 분의 시간 지연이 발생할 수 있으며 서버의 크롤러 로드가 증가할 수 있습니다.
페이지의 콘텐츠가 그대로라면 URL에서 매개변수를 삭제하고 다른 방법으로 이 정보를 웹 서버에 전송하는 것이 좋습니다.
URL 구조가 단순하면 사이트를 쉽게 크롤링할 수 있습니다.
POST 데이터
URL을 POST 데이터와 함께 보내는 사이트의 경우(예: POST 요청을 통해 양식 데이터 전달), POST 데이터가 수반되지 않은 요청은 사이트에서 거부될 수 있습니다. Google 크롤러는 POST 데이터를 제공하지 않으므로 이 설정으로 인해 크롤러가 페이지에 액세스할 수 없게 됩니다.
사용자가 양식에 입력한 데이터에 따라 페이지 콘텐츠가 결정되는 경우에는 GET 요청을 사용해 보세요.
