Google에서는 정기적으로 모바일 및 데스크톱 제품 페이지 및 이미지를 크롤링하여 품질 문제를 확인합니다. Google에서 크롤링을 수행할 수 없는 경우 판매자의 쇼핑 광고에 상품을 표시할 수 없습니다.
또한 방문 페이지의 경우 상품의 모바일 또는 데스크톱 방문 페이지를 가져오는 동안 크롤링 오류가 감지되면 Google은 방문 페이지에 액세스할 수 있을 때까지 휴대기기 및 데스크톱 기기 모두에서 해당 상품을 비승인합니다.
제품 크롤링 문제가 발생하는 가장 일반적인 원인은 다음과 같습니다.
- 페이지를 찾을 수 없음(404) 오류: 잘못된 URL(예: URL에 오류가 있을 때)을 입력하면 페이지에서 '페이지를 찾을 수 없음(404)' 오류가 표시됩니다. URL이 올바르고 웹사이트가 사용 가능한지 확인하세요.
- 서버의 robots.txt에서 액세스를 허용하지 않음: 서버에 추가된 'robots.txt' 파일이 크롤링 액세스를 금지했습니다. 이러한 유형의 파일 및 금지사항을 포함하는 페이지는 크롤링할 수 없습니다. 문제를 해결하려면 크롤링을 허용하도록 'robots.txt' 파일을 구성하세요.
- 잘못된 URL: URL에 잘못된 문자가 포함되어 있거나 올바른 링크 형식이 아닙니다.
참고: 문제를 해결한 후 쇼핑 광고에 제품이 새로 표시되는 데 최대 48시간이 걸릴 수 있습니다.
그 밖에 Google에서 페이지를 크롤링하지 못하는 다른 문제가 있을 수 있습니다.
기타 일반적인 문제
- 페이지에 인증 필요: 일종의 인증 프로토콜이 제공된 URL을 보호하므로 Google이 콘텐츠에 액세스할 수 없습니다.
- HTTP 4xx 응답, HTTP 5xx 응답: 웹사이트를 호스팅하는 서버가 HTTP 오류를 반환하여 Google이 콘텐츠에 액세스할 수 없습니다.
- 호스트 이름을 확인할 수 없음: 서버의 호스트 이름을 IP 주소에서 확인할 수 없으므로 페이지에 액세스할 수 없습니다.
- 잘못된 형식의 HTTP 응답: 서버로부터의 응답이 깨져서 표시되었습니다.
- 비공개 IP: 호스팅된 웹사이트가 방화벽이나 라우터에 막혔으므로 액세스할 수 없습니다.
- 네트워크 오류: 네트워크에서 일종의 오류가 발생했습니다.
- 페이지 읽기 시간 초과: 서버에서 페이지를 반환하는 데 시간이 너무 오래 걸려 제품 크롤링을 취소했습니다.
- 서버 리디렉션이 너무 많음: 서버가 크롤링을 여러 번 리디렉션하여 취소되었습니다.
- 리디렉션 URL이 너무 김, 비어 있는 리디렉션 URL, 잘못된 리디렉션 URL: 서버가 반환한 리디렉션 URL이 올바르지 않아 Google에서 리디렉션을 추적하지 못했습니다.
- 서버의 robots.txt에 연결할 수 없음, robots.txt 읽기 시간 초과: robots.txt 파일을 읽을 수 없어 페이지를 크롤링할 수 없습니다. 여기에서 로봇 제외 프로토콜에 대해 자세히 알아보세요.