robots.txt는 크롤링해서는 안 되는 사이트 내 URL 또는 디렉터리를 검색엔진에 알려주는 텍스트 파일의 이름입니다. 이 파일에는 특정 크롤러(또는 모든 크롤러)에 대해 개별 URL 또는 전체 디렉터리를 차단하는 규칙이 포함되어 있습니다. 검색결과에 표시할 만큼 중요하지 않은 페이지 또는 리소스(예: 이미지)에 대한 크롤링 요청을 처리하느라 시간과 에너지를 낭비하는 일이 없도록 사이트 소유자가 규칙을 만들어 사이트의 홈 디렉터리에 저장합니다. 규모가 작은 사이트에는 robots.txt 파일이 필요하지 않은 경우가 많습니다.
페이지가 검색결과에 표시되지 않게 하는 데 robots.txt를 사용해서는 안 됩니다. 페이지가 크롤링되지 않도록 하는 용도로만 사용하세요. 페이지 또는 이미지가 검색결과에 표시되지 않도록 하는 데에는 다른 기술이 사용됩니다. robots.txt에 관해 자세히 알아보기
