禁止 Google 抓取使用参数的重复内容

“网址参数”工具的适用情形和使用方式

网址参数和重复内容

如果您的网站会使用网址参数来呈现无关紧要的网页变体(例如,color=redcolor=green),或者会使用参数在不同网址(例如,example.com/shirts?style=polo,long-sleeve 和 example.com/shirts?style=polo&style=long-sleeve)显示本质上相同的内容,就可能会导致 Google 无法有效地抓取您的网站。

例如,下面这几个网址都指向本质上重复的内容,唯一的区别是参数不同:

网址 说明
https://example.com/products/women/dresses/green.html 未使用参数的静态网页
https://example.com/products/women?category=dresses&color=green 此网址使用了参数 categorycolor,但它提供的内容和未使用参数的网页上的内容一样。
https://example.com/products/women/dresses/green.html?limit=20&sessionid=123 此网址中包含用于限制搜索结果数量的参数以及用户会话 ID,但它提供的内容和上述网址上的内容一样。

如果您的网站运用了许多这类网址参数,您不妨使用“网址参数”工具来减少 Google 抓取重复网址的情况。

重要提示:如果您的网站会在多个不使用参数的不同网址上提供重复内容,您便应指定一个规范网页,而不应按照本页中的说明来禁止 Google 抓取内容。

禁止 Google 抓取包含具体参数的网址

您可以阻止 Google 抓取包含具体参数或参数值的网址,以免出现抓取重复网页的问题。

要求

您的网站必须满足以下所有要求,才能使用“网址参数”工具。

  • 您的网站有超过 1000 个网页,并且
  • 您的日志显示,Googlebot 已将大量重复网页编入索引,而且所有这些重复网页的唯一不同之处就是网址参数不同(例如:example.com?product=green_dressexample.com?type=dress&color=green)。
切勿不正确地使用“网址参数”工具
 
请仅在您的网站完全满足上述要求且您拥有丰富的搜索引擎优化 (SEO) 经验的情况下使用“网址参数”工具。不正确地使用该工具可能会导致 Google 忽略您网站上的重要网页(无法针对这类网页显示警告或报告错误)。虽然这样的后果听起来有点可怕,但确实是因为许多人滥用或不必要地使用该工具所致。因此,如果您不确定自己能否正确地使用该工具,那最好还是不使用它。

用法

您可以利用具体参数来指定 Google 在抓取您网站时的行为。不过,这种使用参数指定的抓取行为会应用于整个资源;您无法通过使用参数将指定的抓取行为仅应用于您网站的某个具体网址/分支。

要使用“网址参数”工具,请执行以下操作:

  1. 确认您的网站已满足上文列出的所有要求。
  2. 打开“网址参数”工具
  3. 要修改现有参数,请点击修改;要创建新参数,请点击添加参数。请注意,该工具区分大小写,因此请务必按原样输入您网址中显示的参数。
  4. 指定您的网址参数是否会影响网页内容:
    • 不会:不会影响网页内容:您的参数不会影响网页内容的显示方式。此类型的参数可能会用于跟踪访问次数和引荐次数,但不会影响网页的实际内容。例如 sessionIDuserName。如果 Google 发现了多个除这一参数值之外便无不同之处的网址,就会抓取其中一个网址。虽然 Google 会尝试检测这些类型的参数,但如果您的日志显示我们并未正确地识别这个静态参数,您可在此处加以指定。
    • 会:会对网页内容进行更改、重新排序或缩小范围:您的参数可更改网页内容。例如,brandgendercountrysortorder。请选择参数用途:
      • 排序(例如 sort=price_ascending):更改内容的显示顺序。
      • 缩小范围(例如 t-shirt_size=XS):过滤网页上的内容。
      • 指定(例如 store=women):确定网页上所显示内容的大体类别。如果此参数指定了确切内容,而且是唯一可访问此内容的途径,那么您应选择“所有网址”来应用此行为。
      • 翻译(例如 lang=fr):显示相应内容的翻译版本。如果您使用此参数的目的是为了显示相应内容的不同语言版本,则应通过使用 hreflang 指明网页的不同语言版本让 Google 抓取相应内容的翻译版本,而不应使用该工具屏蔽相应内容。
      • 分页(例如 page=2):显示一个较长列表或一篇较长文章中的某个具体页面。
         
      • Googlebot 应抓取哪些包含此参数的网址? 您可选择下列某个选项,以指定 Google 在遇到包含此参数的网址时的行为:
        • 由 Googlebot 决定:此设置是已知参数的默认设置。如果您不确定参数的行为,或者参数的行为会针对网站的不同部分而有所改变,请选择此选项。Googlebot 能够分析您的网站,以选择最恰当的方式来处理此参数。
        • 所有网址:告知 Google 永远不要屏蔽任何含有此参数的网址。含有此参数但参数值互不相同的多个网址不会包含重复内容。例如,如果您对包含 productid 参数的网址应用了此类设置,Google 便会自动将网址 http://www.example.com/dresses/real.htm?productid=1202938 视为完全不同于 http://www.example.com/dresses/real.htm?productid=5853729,因为这两个网址包含的 productid 参数值互不相同。
        • 只抓取包含指定值的网址:告知 Google 仅抓取网址参数已设为您所指定的值的网址(不抓取任何含有其他参数值的网址)。如果您的网站使用参数值更改相同内容的网址的显示顺序,那么此选项会特别实用。例如,http://www.example.com/dresses/real.htm?sort=price_highhttp://www.example.com/dresses/real.htm?sort=price_low 包含完全相同的内容。您可使用此设置告知 Googlebot 仅抓取参数值为 sort=price_low 的网址,以避免抓取重复内容。
        • 不抓取此类网址:告知 Google 不要抓取任何包含某个具体参数的网址。这样一来,Google 便不会抓取任何包含您所输入的值的网址。例如,您可以告知 Google 不要抓取包含 pricefrompriceto 等参数的网址(例如 http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5&pricefrom=10&priceto=1000),从而避免不必要地抓取重复内容(已从 http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5 上抓取了相应内容)。
  5. 如果您的网站在网址中使用了多个参数,请参阅管理包含多个参数的网址
  6. 请注意,其他资源可能会继承您的规则(请参阅“参数规则的继承”)。

参数规则的继承

如果您有相互独立的 HTTP 资源和 HTTPS 资源,或者相互独立的父级资源和子级资源(例如,example.com 和 example.com/fr/,或 example.com 和 m.example.com),那么根据以下规则,您为某项资源指定的参数设置可能会被其他资源继承:

  • HTTP/HTTPS:如果仅您的 HTTP 资源或 HTTPS 资源(二者之一)设有规则,那么这两项资源皆会应用相应规则。如果您的 HTTP 资源和 HTTPS 资源各自定义了规则,它们便会分别应用各自的规则。
  • 父级/子级:如果某项父级资源 (example.com) 设有参数规则,那么所有未设置参数规则的子级资源 (example.com/fr/) 都会继承这些规则;所有已设置参数规则的子级资源则会仅使用自己的规则。请注意,子网域 (m.example.com) 会被视为父网域 (example.com) 的子级。

管理包含多个参数的网址

一个网址可包含多个参数,而且您可为每个参数分别指定抓取设置。如果一个网址包含多个受管理的参数,Google 会遵循以下规则来决定是否要抓取该网址:

限制性较强的参数设置会覆盖限制性较弱的参数设置。

例如,下面是三个网址参数以及各自的 Google 抓取设置:

参数 参数抓取设置
shopping-category 抓取所有包含此参数的网址
sort-by 仅抓取包含值 production-year 的网址
sort-order 仅抓取包含值 asc 的网址

 

示例 1

http://www.example.com?shopping-category=shoes&sort-by=size&sort-order=asc

Google 不会抓取这个网址,因为 sort-by 参数未设为 production-year(虽然该网址包含有效的 sort-order 值 (asc))

示例 2

http://www.example.com?shopping-category=DVD-movies&sort-by=production-year&sort-order=asc

Google 可能会抓取这个网址,因为 sort-bysort-order 的值符合允许的设置。

示例 3

http://www.example.com/shoes/33453

http://www.example.com?country=fr

Google 可能会抓取这两个网址,因为它们不包含任何被标记的参数。

本文是否对您有帮助?
您有什么改进建议?