Der Crawler ist eine Software, mit der Google den Content auf Webseiten verarbeitet und indexiert. Für solche Software werden auch die Bezeichnungen „Spider“ und „Bot“ verwendet. Mit dem Content-Crawler wird der Content Ihrer Website ermittelt, sodass relevante Anzeigen geschaltet werden können.
Im Folgenden sind einige wichtige Fakten über den Content-Crawler aufgeführt:
- Der Crawler-Bericht wird wöchentlich aktualisiert.
Das Crawling wird automatisch durchgeführt. Daher ist es nicht möglich, auf Anfrage die Crawling-Häufigkeit zu erhöhen. - Der Content-Crawler entspricht nicht dem Google-Crawler.
Bei den beiden Crawlern handelt es sich um individuelle Crawler mit einem gemeinsamen Cache. Dadurch werden dieselben Seitenanfragen von beiden Crawlern vermieden und Publisher erleiden keine Bandbreitenverluste. Der Search Console-Crawler ist ebenfalls ein separater Crawler. - Wenn Sie Probleme mit dem Content-Crawler beheben, hat dies keine Auswirkungen auf Probleme, die im Zusammenhang mit dem Google-Crawler auftreten.
Wenn Sie die auf der Seite „Crawler-Zugriff“ aufgeführten Probleme beheben, wirkt sich dies nicht auf Ihr Placement in den Google-Suchergebnissen aus Weitere Informationen zum Ranking Ihrer Website bei Google finden Sie in der AdSense-Hilfe. - Der Crawler indexiert nach URL.
Unser Crawler greift separat auf site.com und www.site.com zu. Der Crawler erfasst jedoch site.com und site.com/#anchor nicht separat. - Der Crawler greift auf keine Seiten oder Verzeichnisse zu, die durch die Datei „robots.txt“ ausgeschlossen sind.
Die Google- und AdMob-Mediapartners-Crawler erkennen Ihre Datei robots.txt an. Wenn Sie mithilfe dieser Datei den Zugriff auf bestimmte Seiten oder Verzeichnisse nicht zulassen, werden diese nicht gecrawlt.Falls Sie Anzeigen auf Seiten schalten, bei denen die Datei „robots.txt“ die Zeile „User-agent: *“ enthält, werden diese Seiten vom Content-Crawler gecrawlt. Wenn der Content-Crawler nicht auf Ihre Seiten zugreifen soll, muss in der Datei „robots.txt“ Folgendes angegeben werden:User-agent: Mediapartners-Google. Weitere Informationen - Der Crawler versucht, nur auf URLs zuzugreifen, unter denen unsere Anzeigen-Tags implementiert sind.
Nur Seiten, auf denen Anzeigen von Google geschaltet werden, sollten Anfragen an unser System senden und gecrawlt werden. - Der Crawler versucht, auf Seiten mit einer Weiterleitung zuzugreifen.
Falls bestimmte Seiten Weiterleitungen zu anderen Seiten umfassen, greift der Crawler auf diese Ausgangsseiten zu, damit die Weiterleitung erkannt werden kann. Daher wird in Ihrem Zugriffsprotokoll angezeigt, dass der Crawler die Ausgangsseiten aufgerufen hat. - Websites werden nicht nur einmal gecrawlt, sondern immer wieder.
Derzeit können wir nicht steuern, wie oft unsere Crawler den Content Ihrer Website indexieren. Das Crawling wird von unseren Bots automatisch durchgeführt. Falls Sie eine Seite ändern, kann es ein bis zwei Wochen dauern, bis die Änderungen in unserem Index berücksichtigt werden.