Google と共有するコンテンツを制限する

いくつかの理由によって、特定のコンテンツを Google と共有しないように設定することがあります。

データを非公開にするため

自分のサイトに非公開データを置いている場合は、そのデータに他のユーザーがアクセスできないようにする必要があります。これはサイトメンバーの連絡先情報などのデータでよく見られるケースです。メンバーのデータが Google 検索の検索結果に表示されないように、こうした情報は Google からブロックする必要があります。

ユーザーにとって価値の低いコンテンツを非表示にするため

ウェブサイトのさまざまな場所に同じコンテンツがある場合、Google 検索でのページのランキングに悪影響を与える可能性があります。重複するコンテンツが発生する可能性がある良い例は、ユーザーがサイト内のコンテンツに移動できるようにするサイト全体の検索機能です。一部の検索機能では、ユーザーがキーワードを入力するたびにカスタムの検索結果ページが生成、表示されます。カスタムの検索結果ページをブロックしておかないと、Google がそのすべてのページを個別にクロールし、同じようなページが多く含まれているサイトだと誤解する可能性があります。重複するコンテンツがスパムに分類され、Google 検索でのページの掲載順位が下がる可能性もあります。

ウェブサイトは他のサードパーティ ソースで生成された情報を共有することがあり、その情報はウェブ上の他の場所でも公開されています。重複コンテンツを大量に含むページは Google 検索結果に表示する価値が低いと判断されます。複製したコンテンツをブロックすれば、Google での検索結果が改善されて Google 検索でのページランクを上げることができます。

Google が重要なコンテンツに注目できるようにするため

大規模なサイト（何千もの URL）を所有し重要度の低いコンテンツを含むページがある場合、または重複コンテンツが多数ある場合は、重要度の高いコンテンツに注目させるため、重複するページや重要度の低いページを Google がクロールしないようにできます。