本文介绍如何阻止 Google 访问您网站上的内容。
您发布的部分内容可能与 Google 新闻上显示的内容无关。您可以通过阻止访问 Google 的漫游器抓取工具 Googlebot 和 Googlebot-News 来限制 Google 对某些内容的访问。
创建 robots.txt 文件
通过 robots.txt 文件，您可以更精确地控制让自己网站上的哪些部分能够出现在 Google 搜索和 Google 新闻中。详细了解 robots.txt 文件。
您可通过以下方式阻止访问：
-
要防止您的网站出现在 Google 新闻中，请使用 robots.txt 文件屏蔽 Googlebot-News 的访问。
-
要防止您的网站出现在 Google 新闻和 Google 搜索中，请使用 robots.txt 文件屏蔽 Googlebot 的访问。
您需要向抓取工具授予对 robots.txt 文件的访问权限，以便我们可以了解您网站上是否有不希望我们抓取的特定版块。
创建元标记
您可以将元标记添加到 HTML 网页。元标记会告诉搜索引擎在搜索结果中显示网页时都有哪些限制。了解如何使用元标记阻止搜索引擎将网页编入索引。
以下是一些可以添加到 HTML 网页中的常见元标记：
-
要防止您网站上的特定报道出现在 Google 新闻中，请使用以下元标记屏蔽 Googlebot-News 的访问：
<meta name="Googlebot-News" content="noindex, nofollow">。 -
要防止您网站上的特定报道出现在 Google 新闻和 Google 搜索中，请使用以下元标记屏蔽 Googlebot 的访问：
<meta name="googlebot" content="noindex, nofollow">。 -
要防止所有漫游器将您网站上的特定报道编入索引，请使用以下元标记：
<meta name="robots" content="noindex, nofollow">。 -
要防止漫游器抓取特定报道中的图片，请使用以下元标记：
<meta name="robots" content="noimageindex">。 -
要通知我们应在特定时间从 Google 索引中移除某篇报道，请使用以下元标记：
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">。 -
请以 RFC 850 格式指定时间和日期。系统会将该元标记视为移除请求。移除日期过后，网页大约需要一天时间才会从搜索结果中消失。但是，首次抓取报道的同时必须一并抓取该标记，否则标记无法生效。
-
您还可通过其他方法限制搜索结果中显示的内容。有关详情，请参阅开发者文档。
HTTP 标头规范
您还可通过 HTTP 响应标头给漫游器传达指示。如需了解详情，请阅读 HTTP 标头规范。
重要提示：Google 会以限制最严的漫游器为准。