Weitere Informationen zum AdSense-Crawler

Der Crawler ist eine Software, mit der Google den Content auf Webseiten verarbeitet und indexiert. Für solche Software werden auch die Bezeichnungen „Spider“ und „Bot“ verwendet. Der AdSense-Crawler Mediapartners-Google greift zum Ermitteln des Contents auf Ihre Website zu, damit relevante Anzeigen ausgeliefert werden.

Im Folgenden sind einige wichtige Fakten über den AdSense-Crawler aufgeführt:

• Der Crawler-Bericht wird wöchentlich aktualisiert.

  Das Crawlen wird automatisch durchgeführt. Daher ist es nicht möglich, auf Anfrage die Crawling-Häufigkeit zu erhöhen.

• Für AdSense und Google werden verschiedene Crawler genutzt.

  Bei den beiden Crawlern handelt es sich um individuelle Crawler mit einem gemeinsamen Cache. Dadurch werden dieselben Seitenanfragen von beiden Crawlern vermieden und Publisher erleiden keine Bandbreitenverluste. Der Search Console-Crawler ist ebenfalls ein separater Crawler.

  Hinweis: Wenn Sie eine Website zu AdSense hinzufügen, wird Ihre Website in AdSense auch mithilfe des Crawlers „Google-Displayanzeigen-Bot“ bestätigt.
• Wenn Sie Probleme mit dem AdSense-Crawler beheben, werden dadurch nicht die Probleme mit dem Google-Crawler gelöst.

  Das Beheben der auf der Seite Crawler-Zugriff aufgeführten Probleme wirkt sich nicht auf Ihr Placement in den Google-Suchergebnissen aus. Weitere Informationen zum Ranking Ihrer Website bei Google finden Sie in unserem Beitrag Website in Google-Suchergebnisse aufnehmen.

• Der Crawler indexiert nach URL.

  Unser Crawler greift separat auf site.com und www.site.com zu. Der Crawler erfasst jedoch site.com und site.com/#anchor nicht separat.

• Der Crawler greift auf keine Seiten oder Verzeichnisse zu, die durch die Datei „robots.txt“ ausgeschlossen sind.

  Die Crawler von Google, AdSense-Mediapartners-Google und Google-Displayanzeigen-Bot berücksichtigen Ihre robots.txt-Datei. Wenn Sie mithilfe dieser Datei den Zugriff auf bestimmte Seiten oder Verzeichnisse nicht zulassen, werden diese nicht gecrawlt.

  Note: Falls Sie Anzeigen auf Seiten schalten, bei denen die Datei „robots.txt“ die Zeile User-agent: * enthält, werden diese Seiten vom AdSense-Crawler gecrawlt. Um zu verhindern, dass der AdSense-Crawler auf Ihre Seiten zugreift, müssen Sie Folgendes in die robots.txt-Datei einfügen:

  User-Agent: Mediapartners-Google

  User-Agent: Google-Display-Ads-Bot

• Der Crawler versucht, nur auf URLs zuzugreifen, unter denen unsere Anzeigen-Tags implementiert sind.

  Nur Seiten, auf denen Anzeigen von Google geschaltet werden, sollten Anfragen an unser System senden und gecrawlt werden.

• Der Crawler versucht, auf Seiten mit einer Weiterleitung zuzugreifen.

  Falls bestimmte Seiten Weiterleitungen zu anderen Seiten umfassen, greift der Crawler auf diese Ausgangsseiten zu, damit die Weiterleitung erkannt werden kann. Daher wird in Ihrem Zugriffsprotokoll angezeigt, dass der Crawler die Originalseite aufgerufen hat.

• Wie oft der Crawler Ihre Websiteinhalte indexiert, lässt sich nicht beeinflussen.

  Derzeit ist es uns nicht möglich, das erneute Crawling von Websites zu steuern. Das Crawling wird von unseren Bots automatisch durchgeführt. Falls Sie eine Seite ändern, kann es ein bis zwei Wochen dauern, bis die Änderungen in unserem Index berücksichtigt werden.