1. 内容质量问题——确保每个页面都包含唯一的内容。常见的低质量的页面有以下类型：过时的内容（如旧新闻文章），由网站内的搜索框生成的页面，通过应用过滤器生成的页面，重复内容，自动生成的内容，用户生成内容。最好通过Robots阻止此类页面。
2. 内部链接问题——Googlebot 会跟踪您网站上的内部链接以发现其他页面并了解它们之间的联系。因此，请确保您最重要的页面经常在内部链接。 
3. 抓取预算——这种情况会出现在大型网站中，当页面数量超过百万，网站存在技术问题，容易造成抓取预算不足或浪费，常见抓取预算的问题有：低质量的内容， 内部链接结构差，实施重定向的错误，服务器超载等。
4. 网站内部——确保提交给Google的XML站点地图中只有规范版本。
5. 抓取优先级——给 Google 一些时间处理，因为有些页面可能只是在等待抓取。

相应网页被标记为一组网页的规范网页，但 Google 认为另一网址更适合作为规范网页。Google 已将其认为是规范网页的那个网页（而非该网页）编入索引。——Google 官方解释

1. Google 在你的网站上发现了两个或多个相同或非常相似的网页；
2. Google 抓取时发现了该网页的Canonical标签；
3. Google 认为另一个网页更适合规范网页（系统评估）；
4. Google 忽视了该网页的规范标签，并决定不索引它；

相应网页与其他网页重复，但并未指明首选的规范网页。Google 已选择另一网页作为该网页的规范网页，因此该网页不会在 Google 搜索中显示。——Google 官方解释

1. Google 在你的网站上发现了两个或多个相同或非常相似的网页；
2. Google 抓取时在页面上未发现canonical标签；
3. Google 认为另一个网页更适合规范网页（系统评估）；
4. Google 决定不索引该页面；

• 多个重复/相似内容网页没有实施规范化

1. 确保rel=”canonical”链接仅在核心页面上实施；
2. 增强网站核心页面内部信号（站点地图/内部链接）；

这是一个会重定向到另一网页的非规范网址。所以，该网址不会被编入索引。——Google 官方解释

1. Google抓取该网页时已被重定向至新页面；
2. Google决定不索引该页面；

• 网站的链接结构调整
• 页面调整（例如产品下架，旧内容移除）

1. 检查这部分URL是否是正确/错误设置为重定向；

• 是 - 保留它；
• 不是 - 分析为何这部分页面会被设置为重定向，重定向逻辑制定错误？CMS内部错误？若查不到详细原因，可在中文搜索社区进行提问。

该网页虽尽管遭到网站的 robots.txt 文件屏蔽，但已被编入索引。Google 始终都会遵从 robots.txt 中的规则，但如果有其他网页链接到该网页，这并不一定能够阻止该网页被编入索引。Google 不会请求和抓取该网页，但我们仍然可以使用与被屏蔽的网页关联的网页中的信息，将该网页编入索引。由于存在 robots.txt 规则，Google 搜索结果中显示的任何与该网页相关的摘要可能会非常有限。——Google 官方解释

1. Google从其他网页跟随并访问了该网页；
2. Google评估该网页满足索引标准，决定索引该网页；
3. 该网页在SERPs中显示非常有限；

• 内部/外部有存在指向该链接的信号

1. 评估这部分 URL 是否真的应该被编入索引；

• 页面需要被索引 - 删除阻止抓取 URL 的 Disallow 指令；
• 页面不需要索引 - 不应使用 Robots.txt 来控制索引，请改用noindex 标记。

此网页被网站的 robots.txt 文件屏蔽了。——Google 官方解释

1. Google遵循了该网站的robots设置；
2. Google无法正常访问该网页；

• robots.txt 中的 Disallow 指令阻止了该网址

1. 检查 robots 的 disallow 指令是有意还是错误地添加

• 有意的 - 保留它；
• 无意的 - 删除阻止抓取给定页面的 Disallow 指令。

• 垃圾网页、欺骗性网页或劣质网页

• 举报钓鱼式攻击网页

• 举报 Google 上的内容