关于 robots.txt

向Google提交更新后的robots.txt

利用robots.txt测试工具提交功能,您可以轻松进行设置并请求Google以更快的速度为您的网站抓取新的robots.txt文件并将其编入索引。请按照以下步骤更新您的robots.txt文件,并将具体更改告知Google。

1. 点击 robots.txt 编辑器右下角的提交。系统会打开“提交”对话框。

2. 点击“提交”对话框中的下载,从 robots.txt 测试工具页面下载修改后的 robots.txt 代码。

3. 将新的 robots.txt 文件以文本文件的形式上传到您所在网域的根目录下,名称仍为 robots.txt(该 robots.txt 文件的网址应为 /robots.txt)。

如果您无权将文件上传到您所在网域的根目录下,我们建议您请网域管理员更改您的权限。

例如,如果您网站的首页位于 subdomain.example.com/site/example/ 下,那么您可能无法更新 robots 文件 subdomain.example.com/robots.txt。在这种情况下,我们建议您请 example.com/ 的所有者对 robots.txt 文件进行必要的更改。

4. 点击验证当前使用的版本,以查看您当前使用的robots.txt是否是您希望Google抓取的版本。

5. 点击提交当前使用的版本,以通知Google您已对robots.txt文件进行了更改,并请求Google抓取该文件。

6. 在浏览器中刷新页面,以便更新该工具的编辑器并查看您当前使用的 robots.txt 代码,从而确定 Google 是否已成功抓取您的最新版本。在刷新页面后,您还可以点击文本编辑器上方的下拉菜单,以便查看 Google 首次发现您的 robots.txt 文件最新版本时的时间戳。

下一篇:为您的服务器目录提供加密保护以阻止对相应网址的访问

该内容对您有帮助吗?
您有什么改进建议?