robots.txt について

更新した robots.txt を Google に送信

robots.txt テスター ツールの送信機能を使用して、サイトに新しい robots.txt ファイルを配置し、Google にクロールインデックス登録をリクエストすることが簡単にできます。robots.txt ファイルを更新し、変更があったことを Google に知らせる手順は次のとおりです。

1. robots.txt エディタの右下の [送信] をクリックします。この操作により [送信] ダイアログが開きます。

2. [送信] ダイアログで [ダウンロード] をクリックすると、編集した robots.txt コードが robots.txt テスターページからダウンロードされます。

3. 新しい robots.txt ファイルを robots.txt という名前のテキスト ファイルとして自分のドメインのルートにアップロードします(robots.txt ファイルの URL は /robots.txt となります)。

ファイルをドメインのルートにアップロードする権限がない場合は、ドメイン管理者に変更を依頼する必要があります。

たとえば、サイトのホームページが subdomain.example.com/site/example/ にある場合、robots ファイル subdomain.example.com/robots.txt を更新できないことがあります。この場合は、example.com/ の所有者に連絡して、robots.txt ファイルに必要な変更をしてもらいます。

4. [公開中のバージョンを確認] をクリックして、公開中の robots.txt が Google にクロールして欲しいバージョンであることを確認します。

5. [公開中のバージョンを送信] をクリックして、robots.txt ファイルを変更したことを Google に知らせ、クロールをリクエストします。

6. 最新バージョンが正常にクロールされたかどうかを確認するには、まずブラウザのページを更新してツールのエディタを更新し、公開中の robots.txt のコードを確認します。ページを更新した後、さらにテキスト エディタの上にあるプルダウンをクリックして、robots.txt ファイルの最新バージョンを Google のクローラが初めて読み込んだときのタイムスタンプを確認します。

次へ: サーバー ディレクトリをパスワードで保護して URL をブロックする

この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。