robots.txt とは、クロールを禁止するサイトの URL やディレクトリを検索エンジンに伝えるテキスト ファイルの名前です。このファイルには、特定のクローラ（またはすべてのクローラ）に対して個々の URL またはディレクトリ全体をブロックするルールが含まれます。各ファイルはウェブサイトの所有者によって作成され、サイトのホーム ディレクトリに保存されます。これにより、検索結果に表示するほど重要ではないページやリソース（画像など）に対するクロール リクエストの処理にサイトが時間とエネルギーを費やすことを防げます。小規模なサイトであれば、robots.txt ファイルはおそらく必要ありません。
robots.txt はページのクロールを防ぐ目的でのみ使用し、検索結果への表示を回避するためには使用しないでください。ページや画像が検索結果に表示されないようにする場合は別の方法を使用します。robots.txt の詳細
