robots.txt

robots.txt とは、クロールを禁止するサイトの URL やディレクトリを検索エンジンに伝えるテキスト ファイルの名前です。このファイルには、特定のクローラ(またはすべてのクローラ)に対して個々の URL またはディレクトリ全体をブロックするルールが含まれます。各ファイルはウェブサイトの所有者によって作成され、サイトのホーム ディレクトリに保存されます。これにより、検索結果に表示するほど重要ではないページやリソース(画像など)に対するクロール リクエストの処理にサイトが時間とエネルギーを費やすことを防げます。小規模なサイトであれば、robots.txt ファイルはおそらく必要ありません。

robots.txt はページのクロールを防ぐ目的でのみ使用し、検索結果への表示を回避するためには使用しないでください。ページや画像が検索結果に表示されないようにする場合は別の方法を使用します。robots.txt の詳細

この情報は役に立ちましたか?
改善できる点がありましたらお聞かせください。

さらにサポートが必要な場合

次の手順をお試しください。

検索
検索をクリア
検索を終了
Google アプリ
メインメニュー
ヘルプセンターを検索
true
true
true
true
83844
false
false