동적 광고 그룹에서 크롤링할 수 없는 방문 페이지 문제 해결하기

1단계: 크롤링할 수 없는 URL 찾기

페이지를 크롤링할 수 없는 경우 다음과 같은 세 가지 방법으로 동적 검색 광고에 영향이 미칠 수 있습니다.

• 타겟팅 유형으로 URL-Equals를 선택했지만 URL을 크롤링할 수 없는 경우 동적 광고 타겟에 '비승인됨: 페이지를 크롤링할 수 없음' 상태가 표시됩니다.
• 페이지 피드를 사용하지만 피드의 URL을 크롤링할 수 없는 경우 공유 라이브러리에서 해당 URL의 행에 '비승인됨: 페이지를 크롤링할 수 없음' 상태가 표시됩니다.
• 다른 타겟팅 메커니즘을 사용하지만 URL을 크롤링하지 않거나 크롤링할 수 없는 경우 Google Ads는 이를 알 수 없으므로 오류 메시지가 표시되지 않습니다. 타겟팅하려는 URL에 트래픽이 발생하지 않는 경우 먼저 URL-Equals 또는 페이지 피드를 통해 타겟팅하여 문제를 해결할 수 있습니다. URL에 트래픽이 발생하거나 트래픽이 발생하지 않는 이유를 설명하는 오류가 표시됩니다.

2단계: Google AdsBot이 방문 페이지를 크롤링할 수 있는지 확인하기

1. URL을 복사하여 웹브라우저의 주소 표시줄에 붙여넣습니다.
2. 도메인 이름 끝에 /robots.txt를 추가한 다음 Enter 키를 누릅니다. 예를 들어 방문 페이지가 http://www.example.com/folder1/folder2/인 경우 http://www.example.com/robots.txt URL을 방문하여 도메인을 크롤링할 수 있는 로봇을 확인합니다.
3. User-agent: AdsBot-Google 행을 확인합니다.
   • 이 행이 없는 경우 웹 개발자와 협력하여 추가합니다.
   • 페이지가 비어 있는 경우 웹 개발자와 협력하여 robots.txt 파일을 도메인에 추가합니다.
   • User-agent: AdsBot-Google이 있는 경우 Disallow: /라는 행이 뒤에 나오지 않는지 확인합니다. AdsBot-Google이 파일의 다른 행에 의해 제한되지 않는지 확인합니다. robots.txt 파일 및 Google 크롤러에 대해 자세히 알아보세요.
4. 방문 페이지가 하위 도메인인 경우 하위 도메인에 별도 robots.txt 파일이 있는지 확인합니다. 예: https://subdomain.domain.com/robots.txt 이 robots.txt에서 User-agent: AdsBot-Google이 허용되는지 확인합니다.
5. URL의 소스를 엽니다. Chrome에서 view-source:THE_URL을 열면 됩니다. 예를 들어 방문 페이지가 http://www.example.com/folder1/folder2/인 경우 view-source:http://www.example.com/folder1/folder2/로 이동하여 도메인을 크롤링할 수 있는 로봇을 확인할 수 있습니다.
6. 'AdsBot-Google' 문자열을 확인합니다.
   • 문자열이 없는 경우 문자열이 문제 발생의 원인이 아닙니다.
   • 문자열이 <meta name="AdsBot-Google" content="noindex" />와 같은 태그 내에 있으면 웹 개발자와 협력하여 태그를 삭제합니다. Google에서 인식하는 메타 태그에 대해 자세히 알아보기
7. 크롤러 시뮬레이션 도구로 방문 페이지를 테스트합니다. Google Search Console의 URL 검사 도구를 사용하여 Google에서 페이지를 크롤링하는 방식을 확인합니다. 이를 통해 페이지에 액세스할 수 있는지, 200 OK 상태 코드를 반환하는지 확인할 수 있습니다. 이 도구는 비승인으로 이어지는 크롤링 문제를 사전에 확인합니다.

방문 페이지를 크롤링할 수 없는 다른 이유

Google AdsBot이 방문 페이지를 크롤링할 수 있는 경우(User-agent: AdsBot-Google이 이미 사이트의 robots.txt 파일에 포함되어 있음) 페이지를 크롤링할 수 없는 다른 이유가 있을 수 있습니다.

• 방문 페이지가 로드되지 않거나 오류가 반환됩니다. 웹브라우저에서 페이지를 열었지만 HTTP 오류(예: 404 Not Found, 403 금지됨, 500 내부 서버 오류 또는 DNS 오류)가 표시되는 경우 웹사이트의 서버에서 액세스를 차단하는 것입니다. 페이지가 사용자에게는 로드되더라도 Google 크롤러에게는 차단될 수 있습니다. 사이트의 웹 개발자에게 문의하여 Google AdsBot이 방문 페이지에 액세스할 수 있고 200 OK 상태 코드를 반환하는지 확인하세요. 서버 로그와 구성을 확인하여 Google 크롤러가 방화벽이나 기타 보안 설정(예: Cloudflare)에 의해 차단되지 않는지 확인해야 합니다.
• 방문 페이지에 로그인해야 합니다. 모든 광고 방문 페이지는 공개적으로 액세스할 수 있어야 합니다. 다른 방문 페이지를 사용하거나 웹 개발자와 협력하여 페이지에서 로그인 요구사항을 삭제합니다.
• 방문 페이지에 전달 또는 리디렉션이 너무 많습니다. 방문 페이지의 리디렉션은 10개 미만이어야 합니다. 웹 개발자와 협력하여 리디렉션 수를 줄이세요.