일부 제품의 경우 robots.txt로 인해 Google의 크롤러가 방문 페이지를 다운로드할 수 없으므로 Google에서 크롤링할 수 없는 방문 페이지를 링크[link] 속성을 통해 지정해야 합니다. 이러한 제품은 Google에서 방문 페이지를 크롤링할 수 있을 때까지 비승인 상태로 유지되며 쇼핑 광고 및 무료 제품 등록정보에 표시되지 않습니다.
Google 크롤러가 제공된 방문 페이지를 가져올 수 있도록 웹 서버의 robots.txt 파일을 업데이트하세요. robots.txt 파일은 일반적으로 웹 서버의 루트 디렉터리에서 찾을 수 있습니다(예: http://www.example.com/robots.txt).
Google이 판매자의 사이트 전체에 접근할 수 있도록, robots.txt 파일에서 사용자 에이전트 'Googlebot'(방문 페이지에 사용)과 'Googlebot-image'(이미지에 사용)가 모두 전체 사이트를 크롤링할 수 있도록 허용해야 합니다.
다음과 같이 robots.txt 파일을 변경하여 전체 사이트 크롤링을 허용할 수 있습니다.
User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:
여기서 robots.txt 구성 방법을 자세히 알아볼 수 있습니다. URL 검사 도구를 사용하여 현재 구성을 테스트할 수 있습니다.
이 문제를 해결하고 새 피드 업로드 또는 Content API를 통해 제품을 업데이트했다면 여기에 표시되는 오류가 며칠 내에 사라집니다. 그동안 Google은 방문 페이지를 크롤링할 수 있는지 확인합니다. 확인되고 나면 제품은 다시 쇼핑 광고 및 등록정보에 표시됩니다. 처리 속도를 높이려면 Google의 크롤링 속도를 높이세요.