Een crawler, ook wel een spider of bot genoemd, is de software die Google gebruikt om de content van webpagina's te verwerken en te indexeren. De content-crawler bezoekt uw site om te bepalen wat de content ervan is, zodat er relevante advertenties kunnen worden weergegeven.
Enkele belangrijke feiten over de content-crawler:
- Het crawler-rapport wordt wekelijks geüpdatet.
Het crawlen wordt automatisch uitgevoerd. We kunnen daarom niet voldoen aan verzoeken om vaker te crawlen. - De content-crawler is niet hetzelfde als de Google-crawler.
Het zijn 2 verschillende crawlers, maar ze delen hetzelfde cachegeheugen. We doen dat om te voorkomen dat beide crawlers dezelfde pagina's opvragen en zodoende overmatig beslag leggen op de bandbreedte van uitgevers. De crawler van Search Console is ook een aparte crawler. - Als u een probleem met de content-crawler oplost, betekent dit niet dat problemen met de Google-crawler ook zijn verholpen.
Als u de lijst met problemen op de pagina Crawler-toegang oplost, heeft dat geen gevolgen voor uw plaatsing in de zoekresultaten van Google. Meer informatie over de positie van uw site in Google vindt u in het AdSense-artikel Uw site in de zoekresultaten van Google laten opnemen. - De crawler indexeert per URL.
Onze crawler bezoekt site.com en www.site.com afzonderlijk. Onze crawler ziet site.com en site.com/#anchor echter niet als afzonderlijke sites. - De crawler bezoekt geen pagina's of mappen die zijn geblokkeerd door een robots.txt-bestand.
De crawlers van Google en AdMob Mediapartners respecteren uw robots.txt-bestand. Als uw robots.txt-bestand toegang tot bepaalde pagina's of mappen verbiedt, worden ze niet gecrawld.Opmerking: Als u advertenties aanbiedt op pagina's die door middel van de regel User-agent: * worden uitgesloten, worden deze pagina's toch door de content-crawler gecrawld. Als u niet wilt dat de content-crawler uw pagina's analyseert, moet u in uw bestand robots.txt de regelUser-agent: Mediapartners-Googleopnemen. Meer informatie - De crawler probeert alleen toegang te krijgen tot URL's waarin onze advertentietags zijn geïmplementeerd.
Alleen pagina's met Google-advertenties mogen verzoeken naar ons systeem sturen en worden gecrawld. - De crawler probeert toegang te krijgen tot omleidingspagina's.
Als u 'oorspronkelijke pagina's' heeft die omleiden naar andere pagina's, moet onze crawler de oorspronkelijke pagina's bezoeken om te bepalen of een omleiding klopt. Daarom wordt het bezoek van de crawler aan de oorspronkelijke pagina's weergegeven in uw toegangslogboeken - Sites opnieuw crawlen
Op dit moment hebben we geen controle over hoe vaak onze crawlers de content op uw site indexeren. Het crawlen wordt automatisch door onze bots uitgevoerd. Als u wijzigingen aanbrengt op een pagina, kan het 1 tot 2 weken duren voordat de wijzigingen in onze index worden opgenomen.