“网页索引编制”报告

查看 Google 能够在您的网站中找到哪些网页并将它们编入索引,并了解可能会遇到的索引编制问题。

打开“网页索引编制”报告

 

Search Console 中的“索引涵盖范围状态”报告 - Google Search Console 培训

 

使用入门

面向非专家的使用指南

如果您刚开始接触索引编制或搜索引擎优化 (SEO),或网站规模较小,可以参阅以下入门指南:

  1. 决定您是否需要使用该报告。如果您的网站包含不到 500 个网页,您可能无需使用该报告。不过,您可执行以下 Google 搜索,查看网站上的主要网页(或任何网页)是否已编入索引。仅当这些搜索未返回您网站的任何结果,而您愿意花时间全面了解此报告时,才应通过“网页索引编制”报告,查看网站未编入索引的原因(请参阅“问题排查”部分)。
    • 查看您网站上的某些 Google 已知网页示例
      语法site:<<site_root_domain_or_path>>
      示例site:example.comsite:example.com/petstore
    • 搜索网站涵盖的主题(搜索包括首页在内的最重要网页上的字词):
      语法site:<<site_root_domain_or_path>> term1 term2
      示例site:example.com/petstore iguanas zebras
    • 搜索网站上某个网页的确切网址,查看 Google 是否已将其编入索引(搜索网站上包括首页在内的最重要网页):
      语法site:<<exact-url>>
      示例site:http://example.com/petstore/gerbil
  2. 阅读这份简短的用户指南,即可快速便捷地了解此报告。
  3. 如果您想深入了解,请执行以下操作:
    • 了解 Google 搜索的工作方式。如果您不了解索引编制,那么该报告肯定会难以理解或令您感到困惑。
    • 此报告不用于调查特定网页的索引状态。如需查找特定网页的索引状态,请使用网址检查工具
    • 应留意该报告中的哪些内容:
      • 您的所有重要网址是否都为绿色(已编入索引)?大多数网站至少都有几个未编入索引的网页,但您的所有重要网页都应编入索引。请注意,重复的网址不应编入索引。请使用网址检查工具检查首页和主要网页的索引状态。请注意,该报告中的示例网址列表最多只能包含 1,000 个网址,不能保证一定会显示处于指定状态的所有网址,即使网址数量少于 1,000 个也是如此。
      • 灰色(未编入索引)的网址是出于合理原因而没有编入索引吗?如有合理原因,网址未编入索引也属正常。例如,网站中设置了特定 robots.txt 规则、网页中存在 noindex 标记、网页属于重复网址或存在 404 错误(已移除且未替换的网页),都属于合理原因。
      • 如果该报告中的网址总数远少于您网站的网页数,则表示 Google 未在您的网站上查找网页。造成这种情况的一些可能原因如下:
        • 这些缺失的网页或网站是新建的。Google 可能需要一周左右才能开始抓取新网页或网站,并将其编入索引。如果是新建网页或网站,请耐心等候几天,以便 Google 找到并抓取该网页或网站。如果遇到紧急情况,或等待似乎不管用,您可以明确请求 Google 抓取个别网页。
        • Google 无法找到这些缺失的网页。Google 需要通过某种方式找到网页,然后才能抓取网页。这表示 Google 必须通过已知网页或站点地图链接到该网页。对于新网站,第一步最好是请求 Google 将首页编入索引,之后 Google 应该就会开始抓取该网站。对于网站的缺失部分,请确保已正确链接到它们。如果您使用 Wix 或 SquareSpace 等网站托管服务,它们可能会在您发布新网页后告知 Google 所有新网页:请查看网站托管服务商的文档,了解如何发布网页并使其可通过搜索引擎找到。
      • 阅读特定索引编制问题对应的文档,了解并根据需要修正问题。从长远考虑,建议您阅读这些文档。如跳过,后期将耗费您更多精力和时间。
    • 错误的预期:
      • 不要期望您网站上的所有网址都会被编入索引。某些网址可能是重复的,或不包含任何有意义的信息。请确保您网站上的主要网页被编入索引。
      • 网址未编入索引可能是正常情况。阅读并了解每个未编入索引的网址的具体原因,确认相应网页是否不应被编入索引。
      • 不要期望图表中的总数与您网站上网址数量的估算值完全一致。从 Google 的角度来看,图表上方的“已编入索引 + 未编入索引”总数是完整而准确的,但可能会由于各种原因而存在细微差异。
      • 网页已编入索引并不能保证它一定会显示在搜索结果中。系统会根据每个用户的搜索记录、所在位置以及多个其他变量对搜索结果进行自定义,因此,即使某个网页已编入索引,也不会每次都显示在搜索结果中,或者即使会显示也不会每次排名都一样。因此,如果 Search Console 显示某个网址已编入索引,但该网址并未出现在搜索结果中,那么您可以认为该网址已编入索引并有资格显示在搜索结果中。

常见问题解答

该报告会显示哪些内容?

“网页索引编制“报告会显示您网站的多少网址已被 Google 抓取并编入索引。(如果您不太了解这些术语的含义,请参阅 Google 搜索的运作方式。)Google 会通过多种方式查找网址,并会尝试抓取其中大多数网址。如果某个网址缺失或不可用,Google 可能会继续尝试抓取该网址一段时间。

什么是索引编制?

索引编制的过程如下:Google 找到(抓取)您的网页,然后处理该网页的内容并将该网页编入 Google 索引,这样该网页便可能有资格出现在 Google 搜索结果以及其他 Google 服务(例如 Google 探索)中。如需详细了解索引编制,请查看 Google 搜索的工作方式

如何让我的网页或网站编入索引?

如果您使用的是 Wix 或 SquareSpace 等网站托管服务,每当您发布或更新网页时,您的托管服务商都可能会告知 Google。请查看网站托管服务商的文档,了解如何发布网页并使其可通过搜索引擎找到。

如果您没有使用托管服务创建网站或网页,则可以使用站点地图或各种其他方法将新网站或网页告知 Google。

我们强烈建议您将自己的首页编入索引。如果您的网站针对访问者正确实现了全面的网站导航系统,Google 应该能够从首页开始将您网站上的所有其他网页都编入索引。

如果某个网页未编入索引,可以吗?

当然可以。凡是被 robots.txt 规则或 noindex 标记屏蔽的网页、网站上与其他网页重复的网页,或不适合编入索引的网页(例如,应用了不同过滤条件后的网页变体),Google 都不会将其编入索引。使用网址检查工具可查看特定网页未编入索引的原因。如果出现索引编制错误,或网页由于不合理的原因而未编入索引,请参考相关文档来了解问题并进行修正。

面向 SEO 专家、开发者和经验丰富的网站所有者的使用指南

如果您是经验丰富的 SEO 专家、开发者或网站所有者,但尚未使用“网页索引编制”报告,请执行以下操作:
  1. 了解 Google 搜索的工作方式。如果您不了解索引编制,该报告肯定会难以理解或令您感到困惑。
  2. 遵循浏览报告中的指南,包括“正确的预期”和“错误的预期”。
  3. 阅读“问题排查”部分,了解并修正常见问题。
  4. 请注意,未编入索引未必是坏事。检查未将给定网址编入索引的原因。
  5. 阅读特定问题对应的文档,了解问题及其修正方法。

浏览报告

“网页索引编制”报告显示了您资源中 Google 已收录的所有网址的 Google 索引编制状态。

摘要页面

此报告中的顶级摘要页会显示涵盖已编入索引和未编入索引(但已请求)网页的图表和计数,并提供相关表格,其中显示网址无法编入索引的原因或索引编制方面的其他改进。

  • “网页未被编入索引的原因”表格会显示导致您网站上的网址无法编入索引的问题。点击任意一行,即可查看详情页面,其中会显示受此问题影响的网址以及涉及此问题的网站历史记录。
  • “改进网页体验”表格中显示的问题不会导致网页无法编入索引,但我们建议您修正这类问题,以便 Google 能够更好地理解您的网页内容。点击任意一行,即可查看着重显示存在相同问题的所有网址的详情页面
  • “查看关于已编入索引网页的数据”链接会显示有关已编入索引网页数量的历史信息,以及一个示例列表,其中最多列出 1,000 个已编入索引网址。

正确的预期

理想情况下,随着您的网站规模不断扩大,您应该会看到已编入索引网页的数量逐渐增多。如果出现剧减或猛增现象,请参阅“问题排查”部分

您的目标应是让 Google 将每个重要网页的规范版本编入索引。不应将任何重复网页或备用网页编入索引。看到标记为“重复”或“备用”的网页通常是件好事,这意味着我们已找到规范网页并已将其编入索引。您可以通过运行网址检查工具找到任何网址的规范网页。

了解网页未显示在 Google 搜索结果中的更多原因

错误的预期

  • 完全编入索引:您不应期望网站上的所有网址都会编入索引,只有规范网页才会被编入索引(如上所述)。
  • 立即编入索引:当您添加新内容时,Google 可能需要几天时间才能将其编入索引。您可以通过请求编入索引缩短延迟。

状态

网址可能具有下列状态之一:

  • 未编入索引:网址未编入索引,可能是因为索引编制错误或出于合理原因,例如网页被 robots.txt 文件屏蔽或属于重复网页。网页未编入索引的原因列在“网页未被编入索引的原因”表格中。阅读各个原因对应的文档,确定是否需要修正相关问题。来源值表示相应问题是否可能得到修正。
  • 已编入索引:这些网址已成功编入索引。在报告的摘要页上点击图表下方的查看关于已编入索引网页的数据,即可查看已编入索引网址的示例。

原因

某个网址无法编入索引的原因。请参阅下文中的原因说明,了解各个问题的说明以及相应的修正方法(如有必要)。

来源

表格中的来源值会显示问题的来源是 Google 还是网站。一般来说,您只能修正来源被列为“网站”的问题。

验证

您是否已请求验证此问题的修正效果。如果是,此次验证尝试处于什么状态。您应优先修正验证状态为“失败”或“未开始”且来源为“网站”的问题。

验证修正效果

在修正了网站上某个具体问题的所有个案后,您可以请求 Google 确认修正效果。如果所有已知个案都修正了,问题表格中该问题的数量就会变成零,并且该问题会移到表格底部。

为什么要进行验证

告知 Google 您已经修正了特定问题状态或类别下的所有问题,会带来以下好处:

  • 如果 Google 确认您已修正所有网址上的相应问题,或者如果 Google 发现该问题还有未修正的个案,系统都会向您发送电子邮件。
  • 您可以跟踪 Google 确认修正效果的进度,并查看所有排队等待检查的网页的日志和每个网址的修正状态。

有时候可能没必要修正和验证网站上的特定问题,例如,被 robots.txt 屏蔽的网址可能是被刻意屏蔽的。请自行判断是否要解决某个问题。

您也可以只修正问题而不请求验证;无论您是否明确请求验证修正效果,Google 都会在抓取包含已知问题的网页时更新问题个案数。

专业提示:通过站点地图验证修正效果
为了加快修正请求的速度,请创建并提交仅包含最重要网页的站点地图,然后按该站点地图过滤报告,之后再请求修正验证效果。与包含网站中所有受影响网址的请求相比,针对一部分受影响的网址进行验证的请求速度更快。

开始验证

如需告知 Search Console 您已修正某个问题,请执行以下操作:

  1. 修正相应问题在您网站上出现的所有个案。如果您修正时漏掉了某个个案,当 Google 发现仍有未修正的个案时,就会停止验证。
  2. 打开您已修正的问题的详情页面。在报告的问题列表中,点击相应问题。
    • ⚠️ 如果您过滤到报告中的特定站点地图,则验证仅会应用于您请求验证时站点地图中的内容。这可能是您想要的效果,也可能不是。请注意这一点。
  3. 点击验证修正情况验证成功或失败之前,请勿再次点击“验证修正情况”。详细了解 Google 如何检查您的修正效果
  4. 您可以监控验证进度验证过程通常最多需要大约两周时间,但在某些情况下可能需要更长时间,请您耐心等待。验证成功或失败后,您会收到通知。
  5. 如果验证失败,您可以点击问题详情页面上的查看详情,查看导致验证失败的网址。请修正此网页,确认已修正所有处于待处理状态的网址,并重新开始验证

在什么情况下,网址或内容中的问题会被视为“已修正”?

只要满足了以下条件中的任何一项,网址或内容中的问题就会被标记为“已修正”:

  • 系统在抓取该网址时发现,网页中已没有该问题。对于 AMP 代码错误,这可能表示您已修正相应代码,或者此代码已移除(如果此代码不是必需代码)。在尝试验证时,系统会将此状态标记为“已通过”
  • 如果 Google 因故无法访问该网页(例如网页被移除、带有“noindex”标记、要求进行身份验证等),系统会认为该网址的问题已得到修正。在尝试验证时,系统会将其归类为“其他”状态。

问题生命周期

问题的生命周期从系统在您网站上第一次检测到该问题的任何个案时开始,到该问题的最后一个个案被标记为已从您的网站中消失时的 90 天后结束。如果 90 天过去了,该问题并没有再次出现,系统就会从问题表格中移除该问题。

“首次检测到此问题时的日期”是指系统在该问题的生命周期中首次检测到该问题时的日期,这一日期并不会变化。因此:

  • 如果某个问题的所有个案都已修正,但 15 天后又出现了该问题的新个案,那么该问题就会被标记为“待解决”,并且“首次检测到此问题时的日期”将仍是原来的日期。
  • 如果某个问题的最后一个个案已修正,但 91 天后又出现了相同的问题,在这种情况下,由于之前的问题已被关闭,因此系统就会将此问题记录为新问题,并会将“首次检测到此问题时的日期”设为新的检测日期。
验证流程

在您针对某个问题点击验证修正情况后,系统即会启动验证流程。以下是对验证流程的概述。此流程可能需要花费几天甚至更长的时间,我们会通过电子邮件向您发送进度通知。

  1. 当您点击验证修正情况后,Search Console 会立即抽查几个网页。
    • 如果检测到其中任何网页目前存在这些问题,系统便会结束验证流程,并且验证状态将保持不变。
    • 如果系统在所抽查的网页中没有发现当前错误,就会继续进行验证,并会将验证状态更改为“已开始”。如果在验证过程中发现了其他不相关的问题,系统会将这些问题计入其他问题类型,并继续验证。
  2. Search Console 会按照已知受该问题影响的网址的列表进行检查。只有包含该问题的已知个案的具体网址(而非整个网站)会被加入到等待重新抓取的队列中。Search Console 会在验证记录(可从问题的详情页面内查看)中记录已检查过的所有网址。
  3. 在检查网址时:
    1. 如果系统没有发现该问题,个案验证状态会更改为“已通过”。如果这是验证开始后检查的第一个个案,问题验证状态会更改为“未发现问题”。
    2. 如果相应网址已无法访问,个案验证状态会更改为“其他”(此状态并不表示存在错误)。
    3. 如果个案仍然存在,问题状态会更改为“失败”,并且验证会结束。如果出现问题的网页是由 Google 通过常规抓取发现的新网页,系统会将其视为现有问题的新个案。
  4. 在针对该问题检查加入队列的网址时,如果发现此问题已得到修正,问题状态会更改为“已通过”。但是,即使所有个案均已修正,问题的严重程度标签也不会改变(“错误”“警告”),而只是受影响的网页数改变了(0 个)。

即使您从未点击“开始验证”,Google 也可能会检测到相应问题的个案已得到修正。如果 Google 在常规抓取过程中检测到某个问题的所有个案都已得到修正,便会在报告中将该问题的数量更改为 0。

重新验证

⚠️ 请等到当前的验证周期结束后再请求新的验证周期(即使您已在当前周期内修正了一些问题)。

如需重新开始失败的验证,请执行以下操作:

  1. 找到验证失败的问题的验证日志:打开验证失败的问题的详情页面,然后点击查看详情
  2. 点击开始新的验证
  3. 对于标记为待处理失败的所有网址,以及自上次尝试验证后通过正常抓取发现的此问题新个案,系统将重新开始验证。系统不会重新检查标记为已通过其他的网址。
  4. 验证过程通常最多需要大约两周时间,但在某些情况下可能需要更长时间,请您耐心等待。

查看验证进度

如需查看当前验证请求的进度,请执行以下操作(如果没有正在处理中的验证,可查看上一个请求的历史记录):

  1. 打开问题的详情页面。点击主报告页面中的“问题”行以打开问题详情页面。
    • 验证请求状态会显示在“问题详情”页面以及“详情”表格的验证行中。
  2. 点击查看详情,打开相应请求的验证详情页面。
    • 表格中会显示相应请求中包含的每个网址的个案状态
    • 个案状态适用于您所检查的特定问题。一个网页上可以有一个问题标记为“已通过”,而其他问题标记为失败待处理其他
    • 在 AMP 报告和“网页索引编制”报告中,验证历史记录页面中的条目按网址分组。
    • 对于“移动设备易用性”报告和“富媒体搜索结果”报告,这些项则根据由网址和结构化数据项(取决于相应项的 Name 值)构成的组合进行分组。
验证请求状态

对于给定的问题,系统可能会显示以下验证状态:

  • 未启动:此问题的一个或多个个案从未出现在此问题的验证请求中。
    后续步骤
    1. 点击该问题以了解错误详情。检查各个网页,以查看实际网页上的错误示例。
    2. 点击详情页面上的了解详情,以查看相应问题的详细信息。
    3. 点击表格中的示例网址行,以获取与相应错误有关的详细信息。
    4. 修正您的网页,然后点击验证修正情况开始验证验证过程通常最多大约需要两周时间,但在某些情况下可能需要更长时间,所以请耐心等待。
  • 已开始:您已启动验证尝试,并且系统尚未发现相应问题的其他个案。
    后续步骤:Google 会在验证过程中向您发送通知;如有必要,还会在通知中告诉您需要执行什么操作。
  • 未发现问题:您已启动验证尝试,并且系统发现目前已检查的所有问题个案都已修正。
    后续步骤:您暂且无需执行任何操作,但在验证过程中,Google 会向您发送通知,告诉您需要执行什么操作。
  • 已通过:该问题的所有已知个案都已消失(或是受影响的网址已无法访问)。如需使系统显示此状态,您必须先点击验证修正情况(如果您从未请求验证,但问题个案都消失了,则状态将变为“不适用”)
    后续步骤:您无需再执行任何操作。
  • 不适用:虽然您从未启动验证尝试,但 Google 发现该问题在所有网址上都已修正。
    后续步骤:您无需再执行任何操作。
  • 失败:在您点击验证之后,仍包含该问题的网页的数量达到了一定的阈值。
    后续步骤:修正问题并重新开始验证
个案验证状态

在收到验证请求之后,系统会为具体问题的每个个案分配下列验证状态之一:

  • 待处理:已加入待验证队列。Google 上次检查时,该问题个案仍存在。
  • 已通过:[并非适用于所有报告] Google 已检查该问题个案,结果发现它已不复存在。只有当您针对这一问题个案明确点击了验证后,系统才会显示此状态。
  • 失败:Google 已检查该问题个案,并且发现该个案仍存在。只有当您针对这一问题个案明确点击了验证后,系统才会显示此状态。
  • 其他:[并非适用于所有报告] Google 无法访问该个案的托管网址,或者无法再在相应网页上找到此项内容(针对结构化数据)。此状态被视为等同于“已通过”状态。

请注意,同一网址中的不同问题可能会有不同的状态;例如,如果某个网页中既有问题 X 又有问题 Y,那么就可能会出现以下情况:问题 X 的验证状态是“已通过”,而同一网页上的问题 Y 的验证状态却是待处理

站点地图过滤器

借助图表上方的下拉式过滤器,您可以根据索引结果是否已纳入站点地图中对其进行过滤。提供的选项如下:

  • 所有已知网页 [默认] - 显示 Google 已收录的所有网址,无论它们是否列在站点地图中。
  • 所有已提交的网页 - 仅显示使用站点地图报告或您网站上的 robots.txt 文件提交的站点地图或站点地图索引中列出的网址。
  • 仅未提交的网页 - 仅显示使用站点地图报告或您网站上的 robots.txt 文件提交的站点地图中未列出的网址。
  • 特定的站点地图网址 - 仅显示使用站点地图报告或您网站上的 robots.txt 文件提交的特定站点地图或站点地图索引中列出的网址。

即使某个网址还通过某种其他机制(例如,通过从另一网页进行自然抓取)被 Google 发现,它仍会被视为是通过站点地图提交的。

详情页面

点击摘要页面中的任意一行,即可打开相应网站上存在同一问题或状态的网址的详情页面。您可以点击页面顶部的了解详情,查看所选问题的详细信息。

此页面上的图表会显示一段时间内受影响的网页数量。

示例表格会显示受此问题影响的网页的示例列表。该列表不一定会显示存在该问题的所有网址,最多只能包含 1,000 行。每个示例行都具有以下功能:

  • 点击相应行可查看关于该网址的详细信息。
  • 会在新标签页中打开网址。
  • 会针对该网址打开网址检查工具
  • 会复制网址

修正错误或警告的所有个案后,请点击验证修正情况,告知 Google 您已修正该问题。

看到某个网址标有您已修正过的问题?这可能是因为您是在 Google 上次抓取该网址之后修正了此问题。所以,如果您看到某个网址标有您已修正过的问题,请务必查看该网址的抓取日期。检查并确认您的修正效果,然后请求重新编入索引

分享报告

您只需点击这个网页上的分享 按钮,即可分享涵盖范围报告或增强选项报告中的问题详情。通过此链接,分享对象将只能访问当前问题详情页面以及该问题的验证记录页面,而无法访问您的资源中的其他网页,也无法对您的媒体资源或账号执行任何操作。您可以随时通过停止分享这个网页而撤销链接。

导出报告数据

许多报告都提供了导出按钮 以便您导出报告数据。系统会导出图表数据和表格数据。在报告中显示为“~”或“-”(不存在/不是数字)的值将在下载的数据中显示为零。

问题排查

该表格会优先呈现我们认为最重要的问题。如要调查索引编制错误表格中的某个特定原因,请执行以下操作:

  1. 点击“网页未被编入索引的原因”表格中的某一行。根据未编入索引的原因和您的索引编制目标确定是否存在问题,并根据来源值确定是否可以修正该问题。
  2. 阅读有关该问题的具体信息
  3. 检查受该问题影响的示例网址
    1. 点击示例表格中相应网址旁边的检查图标 ,以针对该网址打开网址检查工具。
    2. 在“网址检查”报告的覆盖率 > 抓取覆盖率 > 索引编制部分,查看该网址的抓取和索引详细信息。
    3. 如需测试该网页的实际版本,请点击测试实际网址

了解并修正常见的索引编制问题

下面是该报告中可能会列出的一些最常见的索引编制问题:

已编入索引的网页总数减少但无相应错误

如果您看到已编入索引网页的总数剧减,但错误数没有相应地增加,可能是因为您已通过设置 robots.txt、noindex 或登录要求禁止访问现有网页。请查看未编入索引网址的数量,看看是否有与已编入索引网页总数剧减对应的猛增现象。

未编入索引的网页多于已编入索引的网页

如果您发现未编入索引的网页多于已编入索引的网页,请查看报告中显示的原因。导致大量网页未编入索引的常见原因包括:

  • 您有一条 robots.txt 规则会阻止 Google 抓取您网站的大量内容。如果您屏蔽的网页有误,请取消屏蔽。
  • 您的网站上有大量的重复网页,可能是因为它使用参数对同一个集合进行了过滤或排序(例如:type=dresscolor=greensort=price)。如果这些网页仅显示按不同方式排序、过滤或访问的相同内容,则可能不应被编入索引。
错误猛增

错误猛增现象可能是由于以下原因造成的:模板变更引入了新错误,或者您提交的站点地图包含被 robots.txt、noindex 或登录要求禁止抓取的网址。

如果您看到错误猛增现象:

  1. 看看您能否在摘要页上索引编制错误总数/已编入索引网页总数与某个特定错误行旁边的火花谱线图 之间找出任何关联,并以此为线索,了解哪个问题可能影响了您的错误总数/已编入索引网页的总数。
  2. 点击进入详情页面,了解看似导致错误猛增现象的所有错误。阅读有关具体错误类型的说明,了解最佳处理方式。
  3. 点击相应问题,然后进入某示例网页进行检查,以确定具体错误(如有必要)。
  4. 修正错误的所有实例,并通过点击该原因对应的详情页面中的验证修正情况来请求验证。详细了解验证
  5. 系统会在验证过程中向您发送进度通知,您也可以过几天再回来查看错误数是否已有所减少。
服务器错误
服务器错误意味着 Googlebot 无法访问您的网址、请求已超时或您的网站当时正忙碌。因此,Googlebot 不得不放弃请求。
请在“抓取统计信息”报告中查看您网站的主机状态认定结果,了解 Google 是否报告了您能够确认并修正的网站可访问性问题。

测试服务器连接

您可以使用网址检查工具检查能否重现“网页索引编制”报告中所列的服务器错误。请注意,服务器错误可能是暂时性的,因此当 Google 由于服务器错误而抓取失败时,实时测试可能会成功。

修正服务器连接错误

  • “抓取统计信息”报告查看最近的主机可用性相关数据,了解您的网站是否存在持续性问题或大规模问题。
  • 针对动态网页请求缩短过长的网页加载用时
    如果同一个网站在多个网址上提供了相同的内容,则被视为动态提供内容(例如,www.example.com/shoes.php?color=red&size=7 提供的内容与 www.example.com/shoes.php?size=7&color=red 提供的内容相同)。动态网页可能要过很长时间才能做出响应,因此会导致超时问题。或者,服务器可能会返回超载状态,因此 Googlebot 不得不以更缓慢的速度抓取网站。一般来说,我们的建议是:尽量使用简短的参数列表,而且要尽量少用。
  • 确保您网站的托管服务器没有停止运行、超载或配置不当
    如果连接问题、超时问题或响应问题持续存在,请与您的网络托管服务提供商联系,并考虑提升您网站处理流量的能力。
  • 确认您没有在无意中禁止 Google 访问
    您可能会由于某个系统级问题(例如 DNS 配置问题、防火墙或 DoS 防御系统配置问题、内容管理系统配置问题)而禁止 Google 访问。防御系统是能够保证托管服务正常运行的关键因素之一,且通常会配置为自动屏蔽超量的服务器请求。然而,由于 Googlebot 发出的请求通常会比人类用户多,因此可能会触发这些防御系统,从而导致它们禁止 Googlebot 访问和抓取您的网站。如需修正此类问题,请找到网站上禁止 Googlebot 访问的基础架构部分,然后撤消之前的禁止操作。如果您无权控制防火墙,则可能需要与您的托管服务提供商讨论此问题。
  • 明智地控制搜索引擎对您网站的抓取和编入索引
    某些网站站长会刻意(比如通过上述方式使用防火墙)禁止 Googlebot 访问他们的网站。在这些情况下,他们的目的通常不是为了完全禁止 Googlebot 访问,而是为了控制网站被抓取和编入索引的方式。如果您属于这种情况,请参阅以下内容:
404 错误

一般来说,我们建议您仅修正链接到自家网站或列在站点地图中的 404 错误。如果相关网页已迁移,您应该返回指向新网页的 3XX 重定向。不妨详细了解如何评估和修正 404 错误

网页或网站未显示

如果您的网页根本未显示在报告中,则可能是由于以下某种原因:

  • Google 不知道该网页。一些与网页能否被发现相关的说明:
    • 如果是新网站或新网页,则请注意,Google 可能需要一段时间才能找到并抓取新网站或新网页。
    • 为了让 Google 知道某个网页,您必须提交站点地图网页抓取请求,否则 Google 必须在别处找到指向您网页的链接。
    • 某个网页网址被收录后,Google 可能要过一段时间(最长为几个星期)才能抓取您网站上的部分或全部内容。
    • 即使您直接提交抓取请求,系统也不会即刻就将网页编入索引。
    • Google 并不保证所有网页都会编入 Google 索引。
  • Google 无法访问您的网页(该网页需要登录,或者因其他原因只能供互联网上的部分用户访问)。
  • 该网页包含 noindex 标记,这会阻止 Google 将该网页编入索引。
  • 该网页由于某种原因而被从索引中移除

修正方法:

使用网址检查工具测试您的网页是否存在相应问题。如果该网页未显示在“网页索引编制”报告中,但在“网址检查”报告中列为已编入索引,则表明该网页可能是最近才编入索引,并且很快就会显示在“网页索引编制”报告中。如果该网页在网址检查工具中列为未编入索引(和您的预期一样),请测试实际网页。实际网页测试结果应指出问题所在,请根据从测试中获得的信息以及测试文档了解如何解决问题。

常见问题解答

为什么我的网页位于索引中?我不希望它被编入索引。

Google 可将它找到的任何网址编入索引,除非您在该网页上添加 noindex 指令(或者暂时屏蔽该网页),而且 Google 可以通过多种不同的方式查找网页,包括跟踪从另一网站指向您网页的链接。

  • 如果您希望阻止网页出现在 Google 搜索结果中,则可为该网页设置某种登录要求,也可在该网页上使用 noindex 指令。我们不建议使用 robots.txt 规则阻止网页被编入索引,这样做实际上会使 Google 无法看到 noindex。
  • 如果您希望系统在找到您的网页后将其从 Google 搜索结果中移除,则需要按照这些步骤操作

为什么我的网站最近没被重新编入索引?

Google 会根据多项条件(包括网页更改频率)将网页重新编入索引。如果您的网站不经常更改,它的刷新频率可能会较慢(这是没问题的,如果您的网页未发生变化)。如果您的网页自上次重新抓取后发生了重大更改,您可以请求 Google 重新抓取该网页。不过请注意,Google 会自动重新抓取您的网页,因此除非发生了重大更改,并且 Google 好像有一段时间(一周或更长时间)没有注意到相关更改,您才有必要请求重新抓取网页。

能否重新抓取我的网页/网站?

您需要请求 Google 重新抓取它

为什么我有这么多网页未编入索引?

您可以查看“网页索引编制”报告中详述的原因。下面列出了导致没有将网站上的大量网址编入索引的最常见原因:

  • 您有一条 robots.txt 规则会阻止 Google 抓取您网站的大部分内容。这些网页应在“网页索引编制”报告中标记为“已被 robots.txt 屏蔽”。请在 robots.txt 文件中找到并移除该屏蔽规则。
  • 您的网站上有大量重复网页,通常是因为它使用参数对同一个集合进行了过滤或排序(例如:type=dresscolor=greensort=price)。在“网页索引编制”报告中,这些网页会被标记为“重复”或“备用”。Google 不会将网页的重复副本编入索引。
  • 网址会重定向到另一个网址。重定向网址本身不会被编入索引,但重定向目标会被编入索引。

Google 无法访问我的站点地图

请确保您的站点地图未被 robots.txt 屏蔽、有效,并且您在 robots.txt 条目中或在所提交的站点地图报告中使用的网址正确无误。您可以使用公开提供的站点地图测试工具测试您的站点地图网址。

为什么 Google 会不断抓取已被移除的网页?

只要相应网址是已收录网址,即使它们有一段时间返回 4XX 错误,Google 也会持续抓取它们,以防所返回的错误是暂时性错误。不会抓取某个网址的唯一情况是:网址返回了 noindex 指令

为避免向您显示不断变长的 404 错误列表,“网页索引编制”报告仅会显示在过去一个月内出现 404 错误的网址。

我能看到我的网页,为什么 Google 看不到?

使用网址检查工具可查看 Google 能否看到实际网页。如果它看不到,此工具的界面中应该会说明原因。如果它能看到,则可能意味着在上次抓取之后访问错误已被修正。请使用网址检查工具抓取实际网页,并请求编入索引

网址检查工具未显示任何问题,但“网页索引编制”报告显示了错误,这是为什么?

在 Google 上次抓取该网址后,您可能修正了此错误。请查看网址的抓取日期(应该会显示在“网页索引编制”报告中的网址详情页面内,或显示在网址检查工具中的索引版本视图内)。另请确定您是否在系统上次抓取该网页之后对该网页进行了任何修正。

此外,实际网址检查不会测试“网页索引编制”报告涵盖的部分问题。最值得注意的是,实际版本测试不会测试重复条件或规范条件。

如何查找特定网址的索引状态?

若要了解特定网址的索引状态,请使用网址检查工具。在“网页索引编制”报告中,您无法按网址进行搜索或过滤。

编入索引的原因

在“网页索引编制”报告中,系统可能会针对未编入索引或有问题的索引显示以下原因:


未编入索引

这些网页未编入索引,但不一定是因为出现错误。请阅读具体说明,了解这是否为您应修正的错误。

服务器错误 (5xx)

当您请求将相应网页编入索引时,您的服务器返回了一个 500 类错误。请参阅修正服务器错误

重定向错误

Google 遇到了以下某个重定向错误:

  • 重定向链太长
  • 重定向循环
  • 重定向网址最终超出了网址长度上限
  • 重定向链中包含不良网址或空网址

请使用 Lighthouse 等网络调试工具获取有关重定向的更多详情。

网址已被 robots.txt 屏蔽

此网页被网站的 robots.txt 文件屏蔽了。您可以使用 robots.txt 测试工具检查是否确实存在此情况。请注意,这并不意味着该网页不会被通过某些其他方式编入索引。如果 Google 不必加载该网页就能找到与它相关的其他信息,那么该网页仍然可能会编入索引,但出现这种情况的几率非常小。为确保 Google 不会将该网页编入索引,请移除 robots.txt 中的屏蔽规则,然后改用“noindex”指令

此网址带有“noindex”标记

Google 在尝试将网页编入索引时遇到了“noindex”指令,因此未将该网页编入索引。如果您确实不希望该网页被编入索引,那么恭喜您得偿所愿!如果您希望该网页被编入索引,您应移除该“noindex”指令。

如要确认问题,请执行以下操作:

  1. 点击表格中相应网址旁边的“检查”图标
  2. 覆盖率 > 索引编制 > 是否允许编入索引?下,报告应表明是 noindex 在阻止 Google 将该网页编入索引。您可以在网页源代码响应标头中搜索“noindex”一词。
  3. 确认实际版本中是否仍有 noindex 标记:
    1. 点击测试实际网址
    2. 可否编入索引 > 编制索引 > 是否允许编入索引?下,查看是否仍会检测到 noindex 指令。如果 noindex 指令已不复存在,您可点击请求编入索引以请求 Google 再次尝试将该网页编入索引。如果 noindex 仍然存在,则必须先移除它,然后才能将该网页编入索引。
  4. 如果您想将该网页编入索引,则必须移除相关的标记或 HTTP 标头。

软 404

在我们看来,针对相应网页发出的请求返回了软 404 响应。这意味着所返回的内容是一条便于用户理解的“未找到”消息,而不是 404 HTTP 响应代码。我们建议仅为真正的“未找到”网页返回 404 响应代码,并建议您向网页中添加更多信息以告知我们这不是软 404。如需查看 Google 看到的网页样貌,请针对相应网页运行实际网址检查测试,然后点击查看被测试的网页,即可查看对应的屏幕截图,了解 Google 如何呈现该网页。了解如何修正软 404 错误

由于会返回“未授权的请求”(401) 错误而被屏蔽

Googlebot 无法访问相应网页,因为该网页设有授权要求(返回了 401 响应)。如果您的确希望 Googlebot 能够将该网页编入索引,请撤消针对该网页的授权要求,或允许 Googlebot 通过验证自己的身份访问该网页。您可通过在无痕模式下访问该网页来验证此错误。

未找到 (404)

相应网页在收到请求时返回了 404 错误。该网址是 Google 在没有任何明确请求或站点地图的情况下发现的。可能是 Google 通过其他网页中的链接发现了该网址,也可能是该网页先前存在过但后来又被删除了。Googlebot 可能会继续尝试访问该网址,这种行为可能会持续一段时间;虽然 Googlebot 会逐渐降低对该网址的抓取频率,但我们无法让它永久地忘记某个网址。如果该网页在被移除后没有替换为其他网页,404 响应并没有什么问题。如果您的网页已不在原位置,请使用 301 重定向将用户转到新位置。请参阅修正 404 错误

由于禁止访问 (403) 而被屏蔽

HTTP 403 表示用户代理提供凭据,但未被授予访问权限。不过,Googlebot 从未提供凭据,因此您的服务器错误地返回此错误。该网页不会被编入索引。

如果您的确希望 Googlebot 将该网页编入索引,应允许未登录的用户或明确允许未经身份验证的 Googlebot 请求(但您应验证其身份)。

网址因遇到其他 4xx 问题而被屏蔽

服务器遇到了此处所述的其他问题类型未涵盖的 4xx 错误。请尝试使用网址检查工具调试该网页。

被网页移除工具屏蔽

相应网页目前被网址移除请求屏蔽,该请求可能是 Search Console 中此资源的管理者提交的,或者属于网站访问者获批的移除请求。

使用网址“移除”工具查看是谁提交了网址移除请求。移除请求只在移除日期后的 90 天内有效。待此时间段过后,即使您未另行提交索引编制请求,Googlebot 也可能会再次访问该网页并将其编入索引。如果您不希望该网页被编入索引,请使用“noindex”、为该网页设置授权要求或移除该网页。

已抓取 - 尚未编入索引

Google 已抓取相应网页,但尚未将其编入索引。日后,该网页可能会被编入索引,也可能不会被编入索引;无论如何,您都无需重新提交该网址以供抓取。

已发现 - 尚未编入索引

Google 已发现相应网页,但尚未抓取该网页。这通常意味着,Google 想要抓取该网址,但这样预计会导致网站过载;因此,Google 重新安排了抓取时间。这就是该网页的上次抓取日期在报告中为空的原因。

备用网页(有适当的规范标记)

相应网页被标记为另一网页的备用网页(即该备用网页是一个 AMP 网页,它可以是桌面版本的规范网页,或者是桌面版本规范网页的移动版本,还可以是移动版本规范网页的桌面版本)。该网页正确地指向了已编入索引的规范网页,因此您无需执行任何操作。Search Console 不会检测网页的备用语言版本。

重复网页(用户未选定规范网页)

相应网页与其他网页重复,但并未指明首选的规范网页。Google 已选择另一网页作为该网页的规范网页,因此该网页不会在 Google 搜索中显示。您可以检查此网址,看看 Google 将哪个网址视为该网页的规范网址。

这并非错误,而是正常运作,因为 Google 不会提供重复网页。不过,如果您认为 Google 选择了错误的网址作为规范版本,您可以明确地为该网页标记规范版本。此外,如果您认为该网页并没有与 Google 选择的规范网页重复,则应确保两者的内容有实质性区别。

重复网页(Google 选择的规范网页与用户指定的不同)

相应网页被标记为一组网页的规范网页,但 Google 认为另一网址更适合作为规范网页。Google 已将其认为是规范网页的那个网页(而非该网页)编入索引。

  1. 检查该网址,在网页索引编制 > Google 选择的规范网址下查看 Google 选择的规范网址。
  2. 网页索引编制 > 用户声明的规范网址下查看您选择的规范网址。
  3. 在浏览器中,查看当前网页、用户声明的规范网址和 Google 选择的规范网址。
  4. 此错误意味着,Google 认为被测试的网页与用户声明的规范网页不重复。Google 会认为被测试的网页与 Google 选择的规范网页重复。
    • 如果 Google 选择的规范网页是被测试的网页,Google 便会认为被测试的网页与任何其他网页都不相似。
    • 如果用户声明的规范网址与当前网页不相似,Google 绝不会将该网址选为规范网址。重复网页必须与规范网址相似。(这才叫重复。)

网页会自动重定向

这是一个会重定向到另一网页的非规范网址。所以,该网址不会被编入索引。重定向的目标网址未必已被编入索引,具体取决于 Google 对该目标网址的看法。

包含重定向的规范网址可被编入索引。

如果您在“网址检查”报告中查看该网址,已被编入索引的信息会应用于所测试的网址(忽略所有重定向)。如需查看与该网址关联的规范网址(即 Google 索引中的相应网址)的索引编制状态,请在报告中的网页索引编制 > 编入索引部分内点击检查按钮。

实际网址检查测试会跟踪重定向,然后测试最终到达网址,但实时测试并不表示一直在跟踪重定向。


警告

“网页索引编制”报告摘要页面上的“改进网页体验”表格会列出警告。这些问题虽然不会妨碍网页被编入索引,但确实会降低 Google 理解您的网页并将其编入索引的能力。

已编入索引,尽管遭到 robots.txt 屏蔽

该网页虽尽管遭到网站的 robots.txt 文件屏蔽,但已被编入索引。Google 始终都会遵从 robots.txt 中的规则,但如果有其他网页链接到该网页,这并不一定能够阻止该网页被编入索引。Google 不会请求和抓取该网页,但我们仍然可以使用与被屏蔽的网页关联的网页中的信息,将该网页编入索引。由于存在 robots.txt 规则,Google 搜索结果中显示的任何与该网页相关的摘要可能会非常有限。

后续步骤:

网页已编入索引,但没有内容

此网页已显示在 Google 索引中,但由于某种原因,Google 无法读取网页内容。可能的原因包括,该网页可能会向 Google 伪装真实内容,或者该网页的格式可能不支持 Google 将其编入索引。这不属于 robots.txt 屏蔽情形。请检查该网页,然后查看覆盖率部分了解详情。


已编入索引

您可以在摘要页面上的图表中查看已编入索引的网址数量。您可以通过点击该图表下方的“查看关于已编入索引网页的数据”,查看网址示例列表和更多相关信息。

网页已编入索引

相关网页已成功编入索引。不过,该网页可能存在需要解决的其他问题,例如结构化数据问题。所有其他问题都将在“网址检查”报告的相应部分中进行说明。

 

 

该内容对您有帮助吗?

您有什么改进建议?

需要更多帮助?

请尝试以下步骤:

搜索
清除搜索内容
关闭搜索框
主菜单
653355889410546506
true
搜索支持中心
true
true
true
true
true
83844
false
false