매개변수가 있는 중복 콘텐츠의 크롤링 차단

URL 매개변수 도구 사용 시기 및 방법

URL 매개변수 및 중복 콘텐츠

사이트가 큰 차이가 없는 대안 페이지에 URL 매개변수를 사용하는 경우(예: color=redcolor=green) 또는 사이트가 URL만 다르고 사실상 같은 콘텐츠를 표시할 수 있는 매개변수를 사용하는 경우(예: example.com/shirts?style=polo,long-sleeve 및 example.com/shirts?style=polo&style=long-sleeve), Google의 사이트 크롤링이 비효율적일 수 있습니다.

매개변수만 다르고 기본적으로 중복되는 콘텐츠로 연결되는 URL의 예는 다음과 같습니다.

URL 설명
https://example.com/products/women/dresses/green.html 매개변수가 없는 정적인 페이지
https://example.com/products/women?category=dresses&color=green URL에 categorycolor 매개변수가 사용되었지만 매개변수가 없는 페이지와 동일한 콘텐츠를 제공
https://example.com/products/women/dresses/green.html?limit=20&sessionid=123 URL에 결과 개수를 제한하는 매개변수와 사용자의 세션 ID를 포함하지만 동일한 콘텐츠를 표시함

사이트에 이런 URL 매개변수가 많은 경우 URL 매개변수 도구를 사용하여 중복 URL 크롤링을 줄이는 것이 좋습니다.

중요: 사이트가 매개변수를 사용하지 않고 중복 콘텐츠를 여러 URL에 게재하는 경우, 크롤링을 차단하기보다는 이 페이지의 설명에 따라 표준 페이지를 정의하는 것이 좋습니다.

특정 매개변수를 포함하는 URL 크롤링 차단

Google이 특정 매개변수 또는 특정 값을 가진 매개변수를 포함하는 URL을 크롤링하지 못하도록 차단하여 중복 페이지 크롤링을 방지할 수 있습니다.

요구사항

사이트가 다음 요구사항을 모두 충족하는 경우에만 URL 매개변수 도구를 사용해야 합니다.

  • 사이트 페이지 수가 1,000개 이상
  • 로그에서 Googlebot이 URL 매개변수만 서로 다른 중복 페이지의 색인을 상당수 생성하고 있다는 점을 확인할 수 있음(예: example.com?product=green_dressexample.com?type=dress&color=green).
잘못된 사용 경고
 
사이트가 위 요구사항을 충족하고 본인이 숙련된 SEO인 경우에만 URL 매개변수 도구를 사용해야 합니다. URL 매개변수 도구를 잘못 사용하면 Google이 경고나 보고 없이 사이트 내 중요한 페이지를 무시할 수 있습니다. 도구를 잘못 사용하거나 불필요하게 사용하는 사람들이 많기 때문에 이와 같은 경고가 필요한 것입니다. 이 도구를 올바르게 사용하고 있는지 확실하지 않은 경우 사용하지 않는 것이 좋습니다.

사용

특정 매개변수가 있는 사이트를 크롤링할 때 Google의 동작을 지정할 수 있습니다. 매개변수 동작은 전체 속성에 적용됩니다. 특정 매개변수에 관한 크롤링 동작을 특정 URL 또는 사이트의 브랜치로 제한할 수 없습니다.

URL 매개변수 도구를 사용하는 방법

  1. 사이트가 앞의 요구사항을 충족하는지 확인합니다.
  2. URL 매개변수 도구를 엽니다.
  3. 기존 매개변수를 편집하거나 매개변수 추가를 클릭하여 새 매개변수를 만듭니다. 이 도구는 대소문자를 구분하므로 URL에 표시되는 것과 정확하게 일치하는 매개변수를 입력해야 합니다.
  4. URL 매개변수가 페이지 콘텐츠에 영향을 미치는지 지정합니다.
    • 영향을 미치지 않는 경우: 페이지 콘텐츠에 영향을 미치지 않음: 매개변수가 페이지 콘텐츠의 표시 방식에 영향을 미치지 않습니다. 이러한 유형의 매개변수는 방문과 리퍼러를 추적하는 데 사용될 수 있지만, 페이지의 실제 콘텐츠에는 영향을 주지 않습니다. 예를 들면, sessionID 또는 userName이 있습니다. Google이 이 매개변수 값만 다른 URL을 여러 개 찾을 경우 그중 하나만 크롤링합니다. Google에서는 이러한 유형의 매개변수를 감지하려고 시도하지만, 이러한 정적 매개변수가 제대로 감별되지 않고 있다는 사실이 로그에 나타난다면 여기서 지정할 수 있습니다.
    • 영향을 미치는 경우: 페이지 콘텐츠를 변경, 재정렬 또는 필터링함:  매개변수가 페이지의 콘텐츠를 변경할 수 있습니다. 예를 들면, brandgender, countrysortorder가 있습니다. 사용 목적에 따라 매개변수를 선택합니다.
      • 정렬(예: sort=price_ascending): 콘텐츠를 표시하는 순서를 변경합니다.
      • 필터링(예: t-shirt_size=XS): 페이지의 콘텐츠를 필터링합니다.
      • 지정(예: store=women): 페이지에 표시할 콘텐츠의 일반적인 클래스를 결정합니다. 정확한 항목이 지정되어 있고 이 매개변수가 관련 콘텐츠에 도달하는 유일한 방법인 경우 동작을 '모든 URL'로 선택해야 합니다.
      • 번역(예: lang=fr): 콘텐츠의 번역된 버전을 표시합니다. 매개변수를 사용하여 다른 언어를 표시하는 경우, 이 도구를 사용하여 콘텐츠를 차단하기보다는 hreflang을 사용하여 다른 언어 버전을 표시함으로써 Google이 번역된 버전을 크롤링하도록 하는 것이 좋습니다.
      • 페이지 매김(예: page=2): 긴 목록이나 문서의 특정 페이지를 표시합니다.
         
      • 이 매개변수가 포함된 URL 중 어떤 것을 Googlebot이 크롤링해야 하나요? 이 매개변수를 포함하는 URL을 발견했을 때 Google의 동작을 나타내는 옵션을 선택합니다.
        • Googlebot이 결정: 이 설정은 이미 알려진 매개변수에 기본적으로 설정되어 있습니다. 매개변수 동작에 관해 잘 모르거나 사이트의 부분별로 매개변수 동작이 바뀌는 경우에 선택합니다. 그러면 Googlebot이 사이트를 분석하여 매개변수를 처리하는 가장 좋은 방법을 결정합니다.
        • 모든 URL: Google이 이 매개변수를 포함하는 URL을 차단하지 않게 합니다. 이 매개변수의 고유한 값을 가진 URL은 중복 콘텐츠를 포함하지 않습니다. 예를 들어 이 유형의 설정을 productid 매개변수를 포함하는 URL에 구현하면 productid 매개변수 값이 다르므로 Google에서는 URL http://www.example.com/dresses/real.htm?productid=1202938http://www.example.com/dresses/real.htm?productid=5853729를 완전히 다른 것으로 간주합니다.
        • 값이 있는 URL만: Google이 URL 매개변수가 지정된 값으로 설정된 URL만 크롤링하도록 명령합니다. 매개변수 값이 다른 URL은 크롤링하지 않습니다. 이는 사이트에서 매개변수 값을 사용하여 콘텐츠의 표시 순서만 변경하고 다른 부분은 동일하게 유지하는 경우에 유용합니다. 예를 들어 http://www.example.com/dresses/real.htm?sort=price_high에는 http://www.example.com/dresses/real.htm?sort=price_low와 동일한 콘텐츠가 포함됩니다. 이 설정을 사용하여 Googlebot이 sort=price_low URL만 크롤링하도록 하면 중복 콘텐츠의 크롤링을 방지할 수 있습니다.
        • URL 크롤링 안함: Google이 특정 매개변수가 있는 URL을 크롤링하지 않도록 명령합니다. 입력한 매개변수가 포함된 URL은 Google이 크롤링하지 않습니다. 예를 들어 pricefrompriceto와 같은 매개변수가 있는 URL(예: http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5&pricefrom=10&priceto=1000)을 크롤링하지 않도록 Google에 명령하면 http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5에서 이미 사용할 수 있는 중복 콘텐츠를 불필요하게 크롤링하지 않도록 할 수 있습니다.
  5. 사이트가 하나의 URL에서 여러 개의 매개변수를 사용하는 경우 여러 개의 매개변수를 포함하는 URL 관리를 참조하세요.
  6. 규칙은 다른 속성에서 상속되었을 수 있습니다(매개변수 상속 규칙 참조).

매개변수 상속 규칙

http와 https의 속성이 별개이고 상위 속성 및 하위 속성 또한 별개라면(예: example.com 및 example.com/fr/ 또는 example.com 및 m.example.com) 매개변수 설정은 다음과 같은 규칙에 따라 속성 간에 상속되었을 수 있습니다.

  • http/https: http 또는 https 속성 중 하나에 규칙이 있는 경우 규칙이 http와 https 모두에 적용됩니다. http와 https 속성 모두 별도의 규칙이 정의되어 있는 경우 자체 규칙만 적용됩니다.
  • 상위/하위: 상위 속성(example.com)에 매개변수 규칙이 있는 경우 매개변수 규칙이 없는 모든 하위 속성(example.com/fr/)은 이러한 규칙을 상속받고, 매개변수 규칙이 있는 모든 하위 속성은 자체 규칙만 사용합니다. 하위 도메인(m.example.com)은 상위 도메인(example.com)의 하위 항목으로 간주됩니다.

여러 개의 매개변수를 포함하는 URL 관리

하나의 URL에 여러 URL 매개변수를 포함할 수 있으며 매개변수마다 별도의 크롤링 설정을 지정할 수 있습니다. 하나의 URL에 여러 개의 관리 매개변수가 포함된 경우 Google은 다음 규칙에 따라 URL 크롤링 여부를 결정합니다.

제한이 더 많은 매개변수 설정이 제한이 더 적은 매개변수 설정보다 우선합니다.

아래의 예는 세 개의 URL 매개변수와 그에 관한 각각의 Google 크롤링 설정입니다.

매개변수 매개변수 크롤링 설정
shopping-category 이 매개변수를 포함하는 모든 URL을 크롤링
sort-by 값 = production-year를 포함하는 URL만 크롤링
sort-order 값 = asc를 포함하는 URL만 크롤링

 

예 1

http://www.example.com?shopping-category=shoes&sort-by=size&sort-order=asc.

URL에 유효한 sort-order 값(asc)이 포함되어 있더라도 sort-by 매개변수가 production-year로 설정되어 있지 않으므로 Google은 이 URL을 크롤링하지 않습니다.

예 2

http://www.example.com?shopping-category=DVD-movies&sort-by=production-year&sort-order=asc.

sort-bysort-order 값이 허용된 설정과 일치하기 때문에 Google은 이 URL을 크롤링할 수 있습니다.

예 3

http://www.example.com/shoes/33453

http://www.example.com?country=fr

지정된 매개변수가 없기 때문에 Google은 두 URL을 모두 크롤링할 수 있습니다.

이 도움말이 도움이 되었나요?
어떻게 하면 개선할 수 있을까요?