AdSense-Anzeigen-Crawler

Der Crawler ist eine Software, mit der Google den Content auf Webseiten verarbeitet und indexiert. Für solche Software werden auch die Bezeichnungen „Spider“ und „Bot“ verwendet. Der AdSense-Crawler greift auf Ihre Website zu, um deren Content zu ermitteln, sodass relevante Anzeigen geschaltet werden können.

Im Folgenden sind einige wichtige Fakten über den AdSense-Crawler aufgeführt:

• Der Crawler-Bericht wird wöchentlich aktualisiert.

  Das Crawlen wird automatisch durchgeführt. Daher ist es nicht möglich, auf Anfrage die Crawling-Häufigkeit zu erhöhen.

• Für AdSense und Google werden verschiedene Crawler genutzt.

  Bei den beiden Crawlern handelt es sich um individuelle Crawler mit einem gemeinsamen Cache. Dadurch werden dieselben Seitenanfragen von beiden Crawlern vermieden und Publisher erleiden keine Bandbreitenverluste. Der Search Console-Crawler ist ebenfalls ein separater Crawler.

• Wenn Sie Probleme mit dem AdSense-Crawler beheben, hat dies keine Auswirkungen auf Probleme, die im Zusammenhang mit dem Google-Crawler auftreten.

  Das Beheben der auf der Seite Crawler-Zugriff aufgeführten Probleme wirkt sich nicht auf Ihr Placement in den Google-Suchergebnissen aus. Weitere Informationen zum Ranking Ihrer Website bei Google finden Sie in unserem Beitrag Website in Google-Suchergebnisse aufnehmen.

• Der Crawler indexiert nach URL.

  Unser Crawler greift separat auf site.com und www.site.com zu. Der Crawler erfasst jedoch site.com und site.com/#anchor nicht separat.

• Der Crawler greift auf keine Seiten oder Verzeichnisse zu, die durch die Datei „robots.txt“ ausgeschlossen sind.

  Die Google- und AdSense-Mediapartners-Crawler erkennen Ihre Datei robots.txt an. Wenn Sie mithilfe dieser Datei den Zugriff auf bestimmte Seiten oder Verzeichnisse nicht zulassen, werden diese nicht gecrawlt.

  Note: Falls Sie Anzeigen auf Seiten schalten, bei denen die Datei „robots.txt“ die Zeile User-agent: * enthält, werden diese Seiten vom Content-Crawler gecrawlt. Wenn der Content-Crawler nicht auf Ihre Seiten zugreifen soll, muss in der Datei „robots.txt“ Folgendes angegeben werden: User-agent: Mediapartners-Google.
• Der Crawler versucht, nur auf URLs zuzugreifen, unter denen unsere Anzeigen-Tags implementiert sind.

  Nur Seiten, auf denen Anzeigen von Google geschaltet werden, sollten Anfragen an unser System senden und gecrawlt werden.

• Der Crawler versucht, auf Seiten mit einer Weiterleitung zuzugreifen.

  Falls bestimmte Seiten Weiterleitungen zu anderen Seiten umfassen, greift der Crawler auf diese Ausgangsseiten zu, damit die Weiterleitung erkannt werden kann. Daher wird in Ihrem Zugriffsprotokoll angezeigt, dass der Crawler die Ausgangsseiten aufgerufen hat.

• Wie oft der Crawler Ihre Websiteinhalte indexiert, lässt sich nicht beeinflussen.

  Derzeit ist es uns nicht möglich, das erneute Crawling von Websites zu steuern. Das Crawling wird von unseren Bots automatisch durchgeführt. Falls Sie eine Seite ändern, kann es ein bis zwei Wochen dauern, bis die Änderungen in unserem Index berücksichtigt werden.