Wenn bestimmte Artikel oder Bereiche Ihrer Website von Google News ausgeklammert werden sollen, richten Sie eine Beschränkung ein, damit unsere Crawler bzw. User-Agents diese Bereiche nicht erfassen können. Google News verwendet den gleichen User-Agent wie die Google Websuche, nämlich Googlebot. Der Googlebot-News reagiert auf robots.txt-Dateien und Robots-Meta-Tags für Google News. Wenn Sie nicht möchten, dass der Googlebot Ihre Website indiziert, können Sie eine robots.txt-Datei erstellen. Diese Datei muss im Stammverzeichnis Ihres Hosts abgelegt werden. Andernfalls wird sie möglicherweise ignoriert. Der Googlebot würde beispielsweise
- "http://beispiel.de/robots.txt" folgen und
- "http://beispiel.de/site/robots.txt" ignorieren.
Darüber hinaus können Sie die Indizierung Ihrer Website durch die Verwendung der Meta-Tags "robots" vermeiden. Das Markieren mit [ no follow ] würde beispielsweise verhindern, dass wir Ihre Artikel extrahieren.
Weitere Informationen über robots.txt-Dateien und Robots-Meta-Tags finden Sie in der Hilfe für Webmaster 
.
Wir weisen ausdrücklich darauf hin, dass Sie Google News den Zugriff auf Ihre Website verwehren, dabei aber der Google Websuche den Zugriff darauf gestatten können. Wenn Sie diese Option nutzen möchten, geben Sie dies bei der Erstellung der robots.txt-Datei bzw. der Meta-Tags genau an. Nähere Angaben hierzu entnehmen Sie der Seite über Robots, Meta-Tags und HTML-Header-Spezifikationen .