Google에서는 컴퓨터 알고리즘을 사용하여 뉴스 웹사이트를 크롤링합니다. Google 시스템에서 어느 웹페이지가 기사인지 확인할 수 있도록 사이트에서 기술 가이드라인을 따라야 합니다.
사이트 구조 관련 요구사항
Google 뉴스에서는 새로운 콘텐츠를 제대로 크롤링할 수 있도록 게시자에게 다음의 사이트 구조 가이드라인을 따르라고 권합니다.
영구적 섹션 페이지
주요 뉴스 섹션의 URL이 자주 변경되면 Google 뉴스에서 사이트를 이해할 수 없습니다. 영구적이지 않은 URL을 사용하면 가장 최근에 크롤링된 URL을 인식할 수 없으므로 새로운 콘텐츠가 크롤링되지 않습니다.
Google의 자동화된 크롤러인 Googlebot 뉴스는 주요 뉴스 섹션의 URL이 변경되지 않을 때 가장 효과적으로 작동합니다. Googlebo 뉴스는 HTML 링크를 가장 효과적으로 크롤링할 수 있지만, 이미지 링크나 자바스크립트에 삽입된 링크는 크롤링할 수 없습니다. 그러므로 섹션 페이지 기사에 HTML 링크만 있는지 확인하시기 바랍니다.
또한 섹션 페이지 내에서 기사로 연결되는 앵커 텍스트가 기사 및 페이지의 제목과 일치하는지 확인해야 합니다. 이러한 기술 요구사항이 문제가 된다면 사이트맵으로만 크롤링할 수도 있습니다. 사이트맵으로만 사이트를 크롤링하려면 Google 팀에 문의하시기 바랍니다.
액세스 가능한 콘텐츠
콘텐츠를 Google 뉴스에 포함하려면 Google 크롤러가 사이트에 액세스해야 합니다. 기사를 호스팅하는 디렉터리가 robots.txt에 의해 차단되지 않으며 메타태그나 헤더 사양으로 인해 기사 링크에 액세스하지 못하도록 차단되지 않는지 확인합니다. Google 뉴스는 Googlebot이라고 하는 Google 웹 검색과 동일한 로봇을 사용하여 크롤링합니다.
-
사이트의 robots.txt 파일, 메타 태그, HTLM 헤더 사양으로 인해 Google 크롤러에서 사이트의 콘텐츠에 액세스할 수 없다고 생각된다면 사이트 콘텐츠 액세스 권한 관리를 읽어 보세요.
언어 및 인코딩 요구사항
Google의 콘텐츠 언어 및 사이트 인코딩 가이드라인을 숙지하셔야 합니다.
언어
Google 뉴스에서는 기사 하나에 여러 언어가 표시된 사이트를 표시하지 않습니다. Google 시스템이 여러 언어를 포함하는 콘텐츠를 분석하는 데 문제가 있어 올바른 언어로 콘텐츠를 표시하기 어렵습니다.
사이트에 example.com/french 및 example.com/english와 같이 언어별 섹션이 있는 경우 언어별로 별도의 간행물을 만들 수 있습니다. 이렇게 하면 사용자가 자신의 언어로 콘텐츠를 제공받을 수 있습니다. 게시물을 설정하는 방법을 자세히 알아보세요.
사이트 인코딩
최상의 결과를 얻으려면 사이트를 UTF-8로 인코딩하세요. 인코딩에 관해 자세히 알아보려면 www.w3.org를 방문하시기 바랍니다.
개별 기사 페이지 관련 요구사항
사용자의 뉴스 기사만 크롤링하기 위해 Google 뉴스에서는 개별 기사 페이지에 몇 가지 요구사항을 제시하고 있습니다. 가이드라인을 준수하고 있는지 확인하려면 다음 단계를 따르세요.
뉴스 URL
기사 URL이 고유하고 영구적인지 여부:
-
고유 URL: 기사의 전체 텍스트를 표시하는 각 페이지의 URL은 고유해야 합니다. 한 URL로 여러 기사를 표시하거나 각 기사 전용 페이지에 연결된 링크가 없는 사이트는 Google 뉴스에 포함될 수 없습니다.
- 영구 URL: 기사 링크가 작동하는지 확인하려면 뉴스 사이트에 있는 각 기사가 기사마다 고유한 영구 URL과 연결되어야 합니다. 예를 들어 www.yoursite.com/news1.html에 매일 다른 뉴스가 표시되면 페이지를 크롤링할 수 없습니다.
중요: 새로운 URL에 기사를 다시 게시하지 마세요.
기사가 나중에 다시 게시되어도 기사 URL은 변경되지 않습니다. 예를 들어 기사가 처음에 www.example.com/news1.html에 게시되었다면 www.example.com/news2.html에 다시 게시되지 않습니다. 도메인 또는 콘텐츠 관리 시스템(CMS) 구조 변경 과정에서 URL 패턴을 변경하는 경우 패턴 변환 규칙을 Google에 보내주세요. 패턴 변경을 도와드릴 수 있습니다.
페이지 레이아웃 가이드라인
Google의 자동화된 크롤러가 기사 헤드라인 및 게시 시간을 쉽게 식별할 수 있어야 합니다. 기사 페이지는 HTML 형식을 사용해야 하며 본문 텍스트가 자바스크립트에 삽입되지 않아야 합니다.