중복 콘텐츠

중복 콘텐츠는 일반적으로 한 도메인 내 또는 여러 도메인 간에 다른 콘텐츠와 완전히 일치하거나 상당히 유사한 실제 콘텐츠 블록을 의미합니다. 중복 콘텐츠의 대부분은 원래 사기성이 아닙니다. 다음은 사기성이 없는 중복 콘텐츠의 예입니다.

  • 일반 페이지 및 휴대기기를 위한 스트립다운(stripped-down) 페이지를 모두 생성할 수 있는 토론 포럼
  • 여러 개의 개별 URL을 통해 표시되거나 링크되는 상점 항목
  • 웹페이지의 인쇄 전용 버전

사이트에 주로 동일한 콘텐츠를 포함한 페이지가 여러 개 있는 경우 다양한 방법을 통해 선호 URL을 Google에 알릴 수 있습니다. 이것을 "표준화"라고 합니다. 표준화에 대해 자세히 알아보기

그러나 검색엔진 순위를 조작하거나 더 많은 트래픽을 얻기 위해 고의로 여러 도메인에 콘텐츠를 중복 사용하는 경우도 있습니다. 이와 같은 사기성 행위가 있을 경우 검색결과에 동일한 콘텐츠가 반복되어 표시되므로 사용자 만족도가 떨어질 수 있습니다.

Google은 고유한 정보가 포함된 페이지의 색인을 생성하고 이러한 페이지를 표시하기 위해 노력하고 있습니다. 예를 들어 필터링이란 각 문서에 '일반' 버전과 '인쇄' 버전이 있고 NOINDEX 메타 태그로 차단되지 않은 경우 Google에서 하나만 선택하여 표시하는 것을 말합니다. 또한 드문 경우지만 중복 콘텐츠가 Google 순위를 조작하거나 사용자를 속이기 위해 표시되는 것으로 판단될 경우 Google에서 관련 사이트의 색인 및 순위를 적절하게 조정할 수도 있습니다. 그 결과, 사이트 순위가 하락하거나 사이트가 Google 색인에서 완전히 삭제되어 검색결과에 더 이상 나타나지 않을 수도 있습니다.

다음은 중복 콘텐츠 문제를 사전에 해결하고 방문자에게 내가 원하는 콘텐츠가 표시되도록 하기 위해 취할 수 있는 몇 가지 조치입니다.

  • 301 사용: 사이트를 재구성한 경우 .htaccess 파일에서 301 리디렉션('RedirectPermanent')을 사용하여 사용자, Google 검색 로봇 및 기타 스파이더를 지능적으로 리디렉션할 수 있습니다. Apache에서는 .htaccess 파일, IIS에서는 관리 콘솔을 사용하면 됩니다.
  • 일관성 유지: 내부 링크를 일관성 있게 유지하세요. 예를 들어 http://www.example.com/page/, http://www.example.com/page, http://www.example.com/page/index.htm 등으로 링크하지 않는 것이 좋습니다.
  • 최상위 도메인 사용: Google이 가장 적합한 버전의 문서를 제공할 수 있도록 국가별 콘텐츠를 처리할 때는 가능한 한 최상위 도메인을 사용하시기 바랍니다. 예를 들어 http://www.example.com/de 또는 http://de.example.com보다 http://www.example.de를 사용하면 독일 관련 콘텐츠가 포함되어 있다는 것을 더욱 쉽게 인지할 수 있습니다.
  • 신디케이션은 신중하게: 다른 사이트에 콘텐츠를 신디케이트하는 경우 Google은 항상 각 검색에서 사용자에게 가장 적절하다고 판단되는 버전을 표시하지만, 이는 게시자가 원하는 버전일 수도 있고 그렇지 않을 수도 있습니다. 그러나 콘텐츠가 신디케이트되는 각 사이트에 원본 문서로 다시 연결되는 링크를 포함하면 도움이 될 수 있습니다. 또한 검색엔진이 콘텐츠 버전의 색인을 생성하지 못하도록 신디케이트된 자료를 사용하는 사용자에게 NOINDEX 메타태그를 사용하지 말라고 요청할 수도 있습니다.
  • 반복 어구 최소화: 예를 들어 각 페이지 하단에 긴 저작권 관련 문구를 삽입하는 대신 간략한 요약을 포함한 후 자세한 내용이 있는 페이지로 연결되는 링크를 추가할 수 있습니다. 또한 매개변수 처리 도구를 사용하여 Google이 URL 매개변수를 처리하는 방법을 지정할 수도 있습니다.
  • 콘텐츠가 없는 페이지 게시하지 않기: 누구도 '빈' 페이지를 보고 싶어 하지 않습니다. 따라서 자리표시자는 가능한 한 사용하지 않는 것이 좋습니다. 예를 들어, 아직 실제 콘텐츠가 없는 페이지는 게시하지 않는 것이 좋습니다. 자리 표시자 페이지를 만드는 경우 NOINDEX 메타태그를 사용하여 이러한 페이지의 색인 생성을 차단합니다.
  • 콘텐츠 관리 시스템 이해: 콘텐츠가 웹사이트에 표시되는 방식에 익숙해져야 합니다. 블로그, 포럼 및 관련 시스템에는 대개 동일한 콘텐츠가 다양한 형식으로 표시됩니다. 예를 들어 하나의 블로그 항목이 블로그 홈페이지, 아카이브 페이지, 동일한 라벨이 있는 기타 항목 페이지에 모두 나타날 수 있습니다.
  • 유사한 콘텐츠 최소화: 유사한 페이지가 여러 개 있는 경우, 각 페이지를 확장하거나 여러 페이지를 하나로 통합하세요. 예를 들어 두 도시에 대한 개별 페이지가 포함된 여행 사이트에서 두 페이지의 정보가 동일한 경우, 이러한 페이지를 두 도시 모두에 관한 하나의 페이지로 병합하거나 각 페이지를 확장하여 각 도시에 관한 고유한 콘텐츠를 제공할 수 있습니다.

robots.txt 파일이나 다른 방법 등 그 방법에 상관없이 Google에서는 웹사이트의 중복된 콘텐츠에 대한 크롤러의 액세스를 차단하는 것을 권장하지 않습니다. 검색엔진이 중복된 콘텐츠가 있는 페이지를 크롤링할 수 없으면 이러한 URL이 동일한 콘텐츠로 연결된다는 사실을 자동으로 감지할 수 없으므로, 사실상 이를 별개의 고유한 페이지로 처리해야 합니다. 더 좋은 방법은 검색엔진이 이러한 URL을 크롤링하도록 허용하되 rel="canonical" 링크 요소, URL 매개변수 처리 도구, 301 리디렉션 등을 사용하여 중복 페이지로 표시하는 것입니다. 콘텐츠가 중복되어 웹사이트를 지나치게 많이 크롤링하는 경우 Search Console에서 크롤링 속도 설정을 조정할 수도 있습니다.

중복 콘텐츠가 사용자를 속이고 검색엔진 결과를 조작하기 위해 사용되었다고 판단되지 않을 경우에는 중복 콘텐츠가 있다는 이유만으로 사이트에 대해 조치가 취해지지는 않습니다. 사이트에 중복 콘텐츠 문제가 있지만 위에 나와 있는 도움말 이외의 경우면 Google이 검색결과에 표시할 콘텐츠 버전을 선택합니다.

그러나 Google의 검토 결과 사기 행위가 발생했다고 판단되어 사이트가 Google 검색결과에서 삭제된 경우에는 사이트를 신중히 검토해 보시기 바랍니다. 사이트가 Google 검색결과에서 삭제된 경우 자세한 내용을 보려면 Google 웹마스터 가이드라인을 검토하시기 바랍니다. 필요한 사항을 수정한 후 사이트가 더 이상 Google의 가이드라인을 위반하지 않는다는 확신이 들면 사이트 재검토 요청을 제출하세요.

드물긴 하지만, Google 알고리즘이 사용자의 허락 없이 콘텐츠를 호스팅하는 외부 사이트의 URL을 선택할 수 있습니다. 다른 사이트가 저작권법을 위반하고 내 콘텐츠를 복제했다고 생각되면 사이트의 호스트에 연락하여 삭제를 요청할 수 있습니다. 또한 권리를 침해하는 페이지를 Google 검색결과에서 삭제하도록 디지털 밀레니엄 저작권법(Digital Millennium Copyright Act)에 따라 요청을 제출할 수 있습니다.

도움이 되었나요?
어떻게 하면 개선할 수 있을까요?