Um Google Zugriff auf Ihre Inhalte zu gewähren, muss Ihre robots.txt-Datei den User-Agents „Googlebot“, „AdsBot-Google“ und „Googlebot-Image“ das Crawlen Ihrer Website ermöglichen. Fügen Sie dazu in die robots.txt-Datei die folgenden Zeilen ein:
User-agent: Googlebot
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:
Weitere Informationen zum Protokoll zum Ausschluss von Robots finden Sie hier.
Google kann die Informationen aus diesen oder anderen User-Agents nutzen, um die Google Ads-Systeme zu verbessern.