사이트 페이지를 크롤링하기 전에 Google은 robots.txt 파일을 확인하여 로봇을 차단한 페이지를 크롤링하지 않도록 하려고 했습니다. 하지만 robots.txt 파일을 가져오려고 할 때 서버에서 5xx(연결할 수 없음) 오류를 표시했습니다. Google은 해당 파일에 나열된 페이지를 크롤링하지 않도록 크롤링을 연기했습니다.
호스팅 업체가 Googlebot을 차단하고 있거나 방화벽 구성 문제일 수 있습니다.
참고: robots.txt 파일의 콘텐츠가 Google에 표시되는 콘텐츠와 내 브라우저에서 다르게 보일 경우 호스팅 업체와 협력하여 사용자 에이전트에 따라 다른 robots.txt 콘텐츠를 표시할 수 있는 서버 규칙을 삭제하세요.
