중복 URL 통합

유사하거나 중복된 페이지의 표준 페이지 정의

요약

여러 개의 URL로 액세스할 수 있는 하나의 페이지가 있거나 콘텐츠가 유사한 서로 다른 페이지(예: 모바일 버전 및 데스크톱 버전이 있는 페이지)가 있는 경우, Google은 이러한 페이지를 같은 페이지의 중복 버전으로 간주합니다. Google은 URL 중 하나를 표준 버전으로 선택하여 크롤링하고, 나머지 모든 URL은 중복 URL로 간주하고 빈도를 줄여 크롤링합니다. 

어떤 URL이 표준 버전인지 Google에 분명하게 알리지 않으면 Google에서 사용자 대신 표준 버전을 선택합니다. 경우에 따라 두 페이지의 중요도를 동일하게 취급하는 방안을 고려하기도 하는데, 그러면 아래의 표준 URL을 선택해야 하는 이유는 무엇인가요?에 설명된 것과 같이 원치 않는 동작이 발생할 수 있습니다.

자세한 내용
이 부분은 표준화와 관련하여 꼭 알아 둬야 할 내용은 아닐 가능성이 높으므로 읽지 않고 건너뛰셔도 됩니다. 혹시 이러한 내용에 흥미가 있다면 읽어 보세요.
사이트의 색인을 생성할 때 Googlebot은 각 페이지에서 다루는 주제가 무엇인지 결정하려고 시도합니다. Googlebot이 같은 내용을 다루는 것처럼 보이는 페이지를 같은 사이트에서 여러 개 발견하면 가장 온전하고 유용한 정보를 담고 있다고 판단되는 페이지를 선택해 표준 페이지로 지정합니다. 표준 페이지는 가장 자주 크롤링되며, 중복 페이지는 사이트와 관련된 크롤링 예산을 줄이기 위해 이보다 덜 자주 크롤링됩니다. 따라서 어떤 페이지가 표준 페이지인지 Googlebot에 알려 주지 않고 다른 페이지를 표준 페이지라고 정해버리면, Googlebot이 자주 색인을 생성하지 않거나 검색결과에 표시하지 않을 페이지를 업데이트하느라 에너지를 낭비하게 됩니다.
Google에서는 사이트의 콘텐츠 및 품질을 평가할 때 사이트의 표준 페이지를 주된 기준으로 삼으며, Google 검색결과는 보통 사용자의 검색어에 확실히 더 적합한 중복 페이지가 있지 않은 이상 표준 페이지를 보여 줍니다. 예를 들어, 데스크톱 페이지가 표준으로 표시되어 있어도 사용자가 휴대기기를 사용하고 있는 경우 검색결과에 모바일 페이지가 표시될 가능성이 높습니다.
또한 Google에서는 페이지가 http 또는 https 중 어떤 프로토콜을 통해 게시되는지, 사용자가 선호한다고 밝힌 도메인이 무엇인지, 페이지 품질은 어떠한지, 사이트맵에 URL이 있는지 및 'rel=canonical' 라벨 등 여러 가지 요인(또는 신호)에 따라 표준 페이지를 선택합니다. 어떤 페이지를 표준 페이지로 선택할지 Google에 강요할 수는 없지만, 여기에서 안내하는 기법 중 하나 이상을 사용하여 Google의 선택에 영향을 줄 수는 있습니다.

 

유사/중복 페이지가 발생하는 이유는 무엇인가요?

합당한 이유로 사이트에 같은 페이지로 연결되는 URL이 여러 개 있거나, 여러 개의 URL에 중복되거나 매우 비슷한 페이지가 존재하는 경우가 있습니다. 다음은 가장 일반적인 이유입니다.

  • 여러 개의 기기 유형 지원
    https://example.com/news/koala-rampage
    https://m.example.com/news/koala-rampage
    https://amp.example.com/news/koala-rampage
    
  • 검색 매개변수 또는 세션 ID 등을 위해 동적 URL 사용
    https://www.example.com/products?category=dresses&color=green
    https://example.com/dresses/cocktail?gclid=ABCD
    https://www.example.com/dresses/green/greendress.html
  • 여러 섹션에 같은 글을 게시하면 블로그 시스템에서 여러 URL을 자동으로 저장함
    https://blog.example.com/dresses/green-dresses-are-awesome/
    https://blog.example.com/green-things/green-dresses-are-awesome/
  • 서버가 www가 있는 버전/www가 없는 버전 및 http/https 변형에 같은 콘텐츠를 게시하도록 설정됨
    http://example.com/green-dresses
    https://example.com/green-dresses
    http://www.example.com/green-dresses
    
  • 다른 사이트에 신디케이트하기 위해 블로그에 제공한 콘텐츠가 이러한 도메인에서 부분적으로 또는 전체적으로 복제됨
    https://news.example.com/green-dresses-for-every-day-155672.html(신디케이션 글) https://blog.example.com/dresses/green-dresses-are-awesome/3245/ (원래 글)

표준 URL을 선택해야 하는 이유는 무엇인가요?

중복되거나 비슷한 페이지 중에서 표준 페이지를 확실하게 선택해야 하는 이유는 여러 가지입니다.

  • 어떤 URL이 검색결과에 표시되어 사람들에게 표시될지 지정합니다. 녹색 드레스에 관한 제품 페이지라면 사람들이 https://example.com/dresses/cocktail?gclid=ABCD보다는 https://www.example.com/dresses/green/greendress.html을 통해 방문하는 것이 더 좋을 수도 있습니다.
  • 유사하거나 중복된 페이지와 관련된 링크 신호를 통합합니다. 검색 엔진이 개별 URL에 관해 가지고 있는 정보(예: URL 링크)를 내가 선호하는 단일 URL로 더욱 쉽게 통합할 수 있도록 합니다. 즉, 다른 사이트에서 http://example.com/dresses/cocktail?gclid=ABCD로 연결되는 링크가 https://www.example.com/dresses/green/greendress.html로 연결되는 링크와 통합됩니다.
  • 단일 제품/주제와 관련된 측정항목의 추적을 단순화합니다. 다양한 URL을 사용하는 경우 특정 콘텐츠와 관련해 통합된 측정항목을 얻기가 더 어렵습니다.
  • 신디케이션 콘텐츠를 관리합니다. 다른 도메인에 게시하기 위해 콘텐츠를 신디케이트한 경우, 선호하는 URL로 페이지 순위를 통합하기를 원할 것입니다.
  • 중복 페이지에 크롤링 시간을 낭비하지 않도록 방지합니다. Googlebot이 사이트를 최대한 활용하기를 바란다면 Googlebot이 같은 페이지의 데스크톱 및 모바일 버전보다는 사이트의 신규(또는 업데이트된) 페이지를 크롤링하는 것이 좋습니다.

Google이 표준(또는 중복)으로 간주하는 URL은 무엇인가요?

URL 검사 도구를 사용하여 Google이 어떤 페이지를 표준으로 간주하는지 알아보세요. 표준 페이지를 분명히 지정해도 Google에서 성능이나 콘텐츠 등의 여러 이유로 인해 다른 표준 페이지를 선택하는 경우도 있습니다.

표준 페이지 지정

여러 중복 페이지 중 표준 페이지를 지정하는 방법에는 몇 가지가 있으며, 사용자가 사이트를 사용하는 방식에 따라 달라집니다.

방법 설명
일반 가이드라인 모든 표준화 방법에 다음 안내를 따릅니다.
선호 도메인 지정

Search Console을 사용하여 한 도메인의 URL을 다른 도메인의 상응하는 페이지보다 우선하는 표준 URL로 지정합니다. 예를 들어 www.example.com이 아닌 example.com을 표준으로 지정합니다. 하위 도메인만 다른 비슷한 사이트가 2개 있는 경우에만 이 방법을 사용하세요. 상응하는 http/https 사이트가 있는 경우에는 이 방법을 사용하지 않습니다.

장점:

  • 구현, 관리, 변경이 매우 쉽습니다.
  • 서로 다른 도메인에 같은 사이트가 있는 경우에 사용합니다.

단점:

  • 도메인의 단위로만 작동하며, 페이지가 중복으로 간주되려면 경로 및 이름이 동일해야 합니다.
  • 경로 이름이 동일하게 지정된 페이지에 단일 페이지 대 페이지 매핑만 사용할 수 있습니다.
rel=canonical <link> 태그

표준 페이지로 연결되는 모든 중복 페이지의 코드에 <link> 태그를 추가합니다.

장점:

  • 무한히 많은 중복 페이지를 매핑할 수 있습니다.

단점:

  • 페이지 크기가 커질 수 있습니다.
  • 용량이 큰 사이트 또는 URL이 자주 변경되는 사이트의 매핑을 유지하기가 복잡할 수 있습니다.
  • HTML 페이지에만 작동하며 PDF와 같은 파일에는 작동하지 않습니다. 이 경우 rel=canonical HTTP 헤더를 사용할 수 있습니다.
rel=canonical HTTP 헤더

페이지 응답에 rel=canonical 헤더를 전송합니다.

장점:

  • 페이지 크기가 커지지 않습니다.
  • 무한히 많은 중복 페이지를 매핑할 수 있습니다.

단점:

  • 용량이 큰 사이트 또는 URL이 자주 변경되는 사이트의 매핑을 유지하기가 복잡할 수 있습니다.
사이트맵

사이트맵에서 표준 페이지를 지정합니다.

장점:

  • 특히 용량이 큰 사이트에서 쉽게 사용하고 관리할 수 있는 방법입니다.

단점:

  • Googlebot이 내가 사이트맵에서 선언한 표준 페이지와 관련된 중복 페이지가 어떤 것인지 판단해야 합니다.
  • rel=canonical 매핑 방법에 비해 Googlebot에 덜 강력한 신호를 줍니다.
301 리디렉션 301 리디렉션을 사용하면 Googlebot에 리디렉션된 URL이 지정된 URL보다 더 나은 버전이라는 것을 알릴 수 있습니다. 이 방법은 중복 페이지를 더 이상 사용하지 않는 경우에만 사용하세요.
AMP 변형 변형 페이지 중 하나가 AMP 페이지인 경우 AMP 가이드라인에 따라 표준 페이지와 AMP 변형 페이지를 표시해야 합니다.

 

이러한 방법은 필수는 아니지만 활용하는 것이 좋습니다. 표준 URL이 지정되지 않은 경우 Google에서 어떤 버전 또는 URL이 최선인지 판단하게 됩니다.

일반 가이드라인

모든 표준화 방법에 다음과 같은 일반적인 가이드라인을 따르세요.

일반 가이드라인
  • 표준화를 목적으로 robots.txt 파일을 사용하면 안 됩니다.
  • 표준화를 위해 URL 삭제 도구를 사용해서는 안 됩니다. 사용하면 검색에서 모든 URL 버전이 삭제됩니다.
  • 같거나 다른 표준화 기법을 사용하여 서로 다른 URL을 같은 페이지의 표준 URL로 지정하면 안 됩니다. 예를 들어, 사이트맵에서 URL을 지정하고 같은 페이지에 rel="canonical"을 사용하여 다른 URL을 지정해서는 안 됩니다.
  • 표준 페이지로 선택되는 것을 막기 위해 noindex를 사용하면 안 됩니다. 이 명령문은 표준 페이지 선택을 관리하기 위해서가 아니라 색인에서 페이지를 제외하기 위해 사용됩니다. 
  • hreflang 태그를 사용하는 경우 표준 페이지를 지정하세요. 같은 언어로 된 표준 페이지를 지정하거나 해당 언어의 표준 페이지가 존재하지 않는 경우 가장 적절한 대체 언어를 지정하세요.

표준 URL에는 HTTP보다 HTTPS가 선호됨

Google에서는 다음과 같은 문제나 충돌하는 신호가 있는 경우가 아니라면 HTTP 페이지보다는 HTTPS 페이지를 표준 페이지로 선호합니다.

  • HTTPS 페이지에 잘못된 SSL 인증서가 있습니다.
  • HTTPS 페이지에 보안이 취약한 종속성(이미지 제외)이 있습니다.
  • HTTPS 페이지에서 사용자를 HTTP 페이지로 또는 HTTP 페이지를 통해 리디렉션합니다.
  • HTTPS 페이지에 HTTP 페이지로 연결되는 rel="canonical" 링크가 있습니다.

Google 시스템은 기본적으로 HTTP 페이지보다 HTTPS 페이지를 선호하지만, 다음 방법으로 이러한 선호도를 확실히 지정할 수 있습니다.

  • HTTP 페이지에서 HTTPS 페이지로 연결되는 리디렉션 추가
  • HTTP 페이지의 rel="canonical" 링크를 HTTPS 페이지에 추가
  • HSTS 구현

Google에서 HTTP 페이지를 표준 페이지로 잘못 사용하지 못하도록 하려면 다음 사례를 방지해야 합니다.

  • 잘못된 SSL 인증서 및 HTTPS에서 HTTP로의 리디렉션을 사용합니다. 이렇게 하면 Google에서 HTTP를 강력하게 선호하게 되어 HSTS를 구현해도 이렇게 강력한 선호도를 재정의할 수 없습니다.
  • HTTPS 버전이 아닌 HTTP 페이지를 사이트맵이나 hreflang 항목에 포함합니다.
  • 잘못된 호스트 변형과 관련된 SSL/TLS 인증서를 구현합니다(예: example.com에 www.example.com의 인증서를 게시).  인증서는 전체 사이트 URL과 일치하거나 한 도메인의 여러 하위 도메인에 사용될 수 있는 와일드 카드 인증서여야 합니다.

Google에 동적 매개변수를 무시하라고 알리기

Googlebot에 크롤링할 때 무시할 매개변수를 알리려면 매개변수 처리를 사용합니다. 특정 매개변수를 무시하면 Google 색인의 중복 콘텐츠를 줄여 사이트 크롤링이 더욱 효율적으로 이루어지도록 할 수 있습니다. 예를 들어 sessionid 매개변수를 무시하도록 지정하면 Googlebot은 다음 두 URL을 중복으로 간주합니다.

  • https://www.example.com/dresses/green.php?sessionid=273749
  • https://www.example.com/dresses/green.php

구체적인 방법

다음 방법 중 하나를 선택하여 중복 URL 또는 중복되거나 비슷한 페이지의 표준 URL을 지정하세요.

모든 방법을 사용할 때 위의 일반적인 가이드라인을 따르는 것을 잊지 마시기 바랍니다.

선호 도메인 설정

Search Console을 사용하여 어떤 버전의 사이트 URL을 도메인의 표준 URL로 선호하는지 Google에 알립니다.

  • https://www.example.com
  • https://example.com

선호 도메인을 https://example.com으로 설정하면 Google에서 www.example.com에 있는 비슷한 URL이나 페이지를 example.com에 있는 페이지의 중복으로 취급합니다.

자세한 내용은 선호 도메인 설정을 확인하세요.

rel="canonical" 링크 태그 사용

페이지 헤더에 <link> 태그를 사용하여 페이지가 다른 페이지의 중복 페이지라고 밝힐 수 있습니다.

다양한 URL로 콘텐츠에 액세스할 수 있지만 https://example.com/dresses/green-dresses를 표준 URL로 설정하고 싶은 경우 다음 단계를 사용해 이 URL을 표준 URL로 설정하세요.

  1. rel="canonical" 링크 요소를 사용하여 모든 중복 페이지를 표시합니다. 다음과 같이 rel="canonical" 속성이 포함된 <link> 요소를 중복 페이지의 <head> 섹션에 추가하여 표준 페이지로 연결되도록 합니다.
    <link rel="canonical" href="https://example.com/dresses/green-dresses" />

  2. 표준 페이지에 모바일 변형 페이지가 있는 경우 rel="alternate" 링크를 추가하여 페이지의 모바일 버전으로 연결합니다.
    <link rel="alternate" media="only screen and (max-width: 640px)"  href="http://m.example.com/dresses/green-dresses">

  3. 페이지에 적합한 hreflang 또는 다른 리디렉션을 추가합니다.

rel="canonical" 링크 요소와 함께 상대 경로보다는 절대 경로를 사용하세요.

권장되는 구조:  https://www.example.com/dresses/green/greendresss.html
권장되지 않는 구조: /dresses/green/greendress.html
rel="canonical" HTTP 헤더 사용

서버를 설정할 수 있는 경우, HTML 태그보다는 rel="canonical" HTTP 헤더를 사용하여 PDF 파일과 같이 HTML이 아닌 문서의 표준 URL을 표시할 수 있습니다.

예를 들어 여러 개의 URL을 통해 PDF 파일을 노출하는 경우, 중복 URL에서 다음과 같은 rel="canonical" HTTP 헤더를 반환하여 Googlebot에 해당 PDF 파일의 표준 URL이 무엇인지 알릴 수 있습니다.

Link: <http://www.example.com/downloads/white-paper.pdf>; rel="canonical"

Google에서는 현재 웹 검색결과에만 이 방법을 지원합니다.

rel="canonical" 링크 요소와 함께 상대 경로보다는 절대 경로를 사용하세요. 즉,
권장되는 구조: http://www.example.com/downloads/white-paper.pdf
권장되지 않는 구조: /downloads/white-paper.pdf
사이트맵 사용

각 페이지의 표준 URL을 선택하고 이를 사이트맵을 통해 제출합니다. 사이트맵에 명시된 모든 페이지는 표준 페이지로 제안됩니다. 중복 페이지가 있는 경우, Googlebot이 콘텐츠의 유사성을 기준으로 어떤 페이지가 중복인지 판단합니다.

사이트맵에 명시된 URL이 표준으로 간주된다고 보장할 수는 없습니다. 하지만 사이트맵을 사용하면 대규모 사이트에서 표준을 간단하게 정의할 수 있으며, 어떤 페이지가 사이트에서 가장 중요하다고 생각하는지 Google에 알릴 수 있습니다.

사이트맵에 표준이 아닌 페이지를 포함하지 마세요. 사이트맵을 사용하는 경우 사이트맵에 표준 URL만 명시합니다.

지원 중단된 URL에 301 리디렉션 사용

기존의 중복 페이지를 폐기하고 싶지만 기존 URL의 지원을 중단하기 전에 새로운 URL로 매끄럽게 전환하고 싶은 경우 이 방법을 사용하세요.

페이지를 다음과 같은 여러 경로로 방문할 수 있다고 가정해 봅시다.

  • https://example.com/home
  • https://home.example.com
  • https://www.example.com

URL 중 하나를 표준 URL로 선택하고, 301 리디렉션을 사용하여 다른 URL의 트래픽을 선호 URL로 보내세요. 서버측 301 리디렉션은 사용자와 검색 엔진을 올바른 페이지로 유도하는 데 가장 좋은 방법입니다. 301 상태 코드는 페이지가 새 위치로 영구 이전했다는 의미입니다.

웹사이트 호스팅 서비스를 이용하는 경우 서비스에서 제공하는 301 리디렉션 설정에 관한 문서를 찾아보세요.

이 도움말이 도움이 되었나요?
어떻게 하면 개선할 수 있을까요?