사이트가 완전히 크롤링될 수 있도록 하면 콘텐츠의 수익 잠재력을 높일 수 있습니다. 콘텐츠 크롤러가 콘텐츠에 액세스할 수 없는 경우 다음 크롤러 목록 문제를 참고하여 문제를 해결하세요.
이 페이지의 내용
액세스 문제
액세스 문제| 원인 |
확인 사항 |
해결 방법 |
|---|---|---|
| 사이트에 로그인이 필요합니다.
광고 크롤러가 로그인 페이지로 리디렉션되어 콘텐츠를 크롤링할 수 없습니다. |
방문자가 콘텐츠에 액세스하려면 로그인 정보가 필요한가요? | 앱 콘텐츠 매핑을 위해 로그인이 필요한 웹 콘텐츠를 사용하려면 크롤러 로그인 정보를 설정하세요. |
| 콘텐츠의 네트워크 또는 IP 범위가 제한되어 있습니다. | 콘텐츠에 액세스할 수 있는 지역 또는 IP 범위를 제한하는 조치가 적용되어 있나요? | 제한을 해제하거나 모든 사용자가 콘텐츠에 액세스할 수 있도록 설정하여 광고 크롤러가 URL을 크롤링할 수 있도록 하세요. |
| robots.txt 파일에서 광고 크롤러가 차단되었습니다. | robots.txt 파일에서 광고 크롤러를 허용하지 않았나요? | robots.txt 파일에서 광고 크롤러에 액세스 권한을 부여하세요. |
사이트 문제
| 원인 |
확인 사항 |
해결 방법 |
|---|---|---|
|
사이트를 찾을 수 없습니다. Google로 전송된 URL이 사이트에 존재하지 않는(또는 더 이상 존재하지 않는) 페이지를 가리키거나 404 오류(찾을 수 없음)를 발생시키는 경우에는 광고 크롤러가 콘텐츠를 제대로 크롤링하지 못합니다. |
사이트가 정상적으로 운영 중인가요? 방문자가 웹에서 사이트에 액세스할 수 있나요? | 사이트가 웹에 게시되는지 확인하세요. |
|
사이트에 새로 게시된 콘텐츠가 있습니다. 새 페이지를 게시하면 Google 크롤러가 콘텐츠를 크롤링하기 전에 광고 요청이 발생할 수 있습니다. 새 콘텐츠를 많이 게시하는 사이트로는 사용자 제작 콘텐츠, 뉴스 기사 또는 대규모 제품 인벤토리로 구성된 사이트와 날씨 사이트 등이 있습니다. |
최근에 게시된 새 콘텐츠가 있나요? |
광고 크롤러가 더 긴 시간에 걸쳐 새 콘텐츠를 크롤링할 수 있도록 허용하세요. 일반적으로 새 URL에 광고 요청이 이루어진 후 몇 분 이내에 콘텐츠가 크롤링됩니다. 이러한 몇 분 동안에는 콘텐츠가 크롤링되지 않아서 게재되는 광고가 적을 수 있습니다. |
|
사이트에서 다수의 리디렉션을 사용합니다. 사이트에서 리디렉션을 사용하면 광고 크롤러가 리디렉션을 따라가다가 문제가 발생할 수 있습니다. 예를 들어 리디렉션이 많이 있는 사이트에서 중간 리디렉션이 실패하거나 리디렉션 중 쿠키와 같은 중요한 매개변수가 삭제되면 크롤링 품질이 저하될 수 있습니다. |
사이트에서 리디렉션을 많이 사용하나요? 광고를 게재 중인 페이지에서 리디렉션을 설정했나요? |
광고 코드가 포함된 페이지에서 리디렉션 사용을 최소화하세요. 모든 리디렉션이 제대로 구현되었는지 확인하세요. |
|
개인화된 페이지 URL을 사용하고 있습니다. 일부 사이트의 경우 로그인한 사용자(예: 세션 ID)나 각 방문에서 고유한 기타 정보가 URL에 추가 매개변수로 포함됩니다. 이 경우 동일한 콘텐츠라도 광고 크롤러가 URL을 새 페이지로 처리할 수 있습니다. 이로 인해 페이지의 첫 번째 광고 요청과 페이지 크롤링 사이에 몇 분의 지연이 발생할 수 있으며 서버의 크롤러 로드도 증가할 수 있습니다. |
사이트에서 추가 매개변수 또는 동적으로 생성된 URL 경로가 있는 URL을 사용하나요? | 대부분의 경우에는 페이지의 콘텐츠가 그대로라면 URL에서 추가 매개변수를 삭제하고 이 정보를 다른 방식으로 유지하는 것이 좋습니다. URL 구조가 단순하면 사이트를 쉽게 크롤링할 수 있습니다. |
|
POST 데이터를 사용하고 있습니다. 사이트에서 URL과 함께 POST 데이터를 전송하는 경우(예: POST 요청을 통해 양식 데이터를 전달하는 경우) POST 데이터가 수반되지 않은 요청을 사이트에서 거부할 수 있습니다. 광고 크롤러는 POST 데이터를 제공하지 않으므로 이러한 설정에서는 크롤러가 페이지에 액세스하지 못합니다. |
사이트에서 URL과 함께 POST 데이터를 전송하나요? | 사용자가 양식에 입력한 데이터에 따라 페이지 콘텐츠가 달라지는 경우 GET 요청을 사용해 보세요. |
호스팅 문제
호스팅 문제| 원인 |
확인 사항 |
해결 방법 |
|---|---|---|
|
사이트의 네임서버에 문제가 있습니다. |
네임서버가 올바르게 설정되어 있나요? 요청의 출처에 대한 제한이 있나요? | 도메인 또는 하위 도메인의 네임서버가 광고 크롤러를 콘텐츠에 제대로 연결하는지 확인하세요. |
|
사이트의 서버에 문제가 있습니다. 광고 크롤러가 사이트 콘텐츠에 액세스하려고 할 때 사이트의 서버가 제때에 응답하지 못하는 경우가 있습니다. 이러한 문제는 서버가 다운되거나, 느려지거나, 많은 요청에 의해 과부하가 걸릴 때 발생할 수 있습니다. |
사이트의 서버가 정상적으로 운영 중인가요? | 사이트가 신뢰할 수 있는 서버 또는 서비스 제공업체에서 호스팅되도록 하는 것이 좋습니다. |