robots.txt 是一种文本文件的名称，此文件用于告知搜索引擎不应抓取网站上的哪些网址或目录。其中包含一些规则，用于针对特定抓取工具（或所有抓取工具）屏蔽个别网址或整个目录。它由网站所有者创建并存储在网站的主目录中，用于防止网站花费大量时间和资源针对没有必要显示在搜索结果中的不重要网页或资源（例如图片）发出抓取请求。如果您的网站较小，可能不需要 robots.txt 文件。
请勿使用 robots.txt 阻止网页显示在搜索结果中，只能使用它来阻止 Google 抓取该网页。可以通过其他技术阻止网页或图片显示在搜索结果中。详细了解 robots.txt