Een crawler, ook wel een spider of bot genoemd, is de software die Google gebruikt om de content van webpagina's te verwerken en te indexeren. De AdSense-crawler met de naam Mediapartners-Google bezoekt uw site om de content ervan te bepalen, zodat er relevante advertenties kunnen worden weergegeven.
Hieronder vindt u enkele belangrijke feiten over de AdSense-crawler:
- Het crawler-rapport wordt wekelijks geüpdatet.
Het crawlen wordt automatisch uitgevoerd. We kunnen daarom niet voldoen aan verzoeken om vaker te crawlen.
- De AdSense-crawler is niet hetzelfde als de Google-crawler.
Het zijn twee verschillende crawlers, maar ze delen hetzelfde cachegeheugen. We doen dat om te voorkomen dat beide crawlers dezelfde pagina's opvragen en zodoende overmatig beslag leggen op de bandbreedte van uitgevers. De crawler van Search Console is ook een aparte crawler.
Opmerking: AdSense gebruikt ook een crawler met de naam Google-Display-Ads-Bot om uw site te verifiëren als u een site aan AdSense toevoegt. - Wanneer u problemen met de AdSense-crawler oplost, zijn problemen met de Google-crawler niet automatisch verholpen.
Als u de lijst met problemen op de pagina Crawler-toegang oplost, heeft dat geen gevolgen voor uw plaatsing in de zoekresultaten van Google. Meer informatie over de positie van uw site op Google vindt u in het artikel Uw site in de zoekresultaten van Google laten opnemen.
- De crawler indexeert per URL.
Onze crawler bezoekt site.com en www.site.com afzonderlijk. Onze crawler telt site.com en site.com/#anchor echter niet afzonderlijk.
- De crawler bezoekt geen pagina's of mappen die zijn geblokkeerd door een robots.txt-bestand.
De crawlers Google, AdSense Mediapartners-Google en Google-Display-Ads-Bot respecteren uw robots.txt-bestand. Als uw robots.txt-bestand toegang tot bepaalde pagina's of mappen verbiedt, worden ze niet gecrawld.
Opmerking: Als u advertenties aanbiedt op pagina's die door middel van de regelUser-agent: *worden uitgesloten, worden deze pagina's toch door de AdSense-crawler gecrawld. Als u niet wilt dat de AdSense-crawler uw pagina's bezoekt, moet u het volgende opnemen in uw robots.txt-bestand:User-agent: Mediapartners-GoogleUser-agent: Google-Display-Ads-Bot - De crawler probeert alleen toegang te krijgen tot URL's waarin onze advertentietags zijn geïmplementeerd.
Alleen pagina's met Google-advertenties mogen verzoeken naar ons systeem sturen en worden gecrawld.
- De crawler probeert toegang te krijgen tot omleidingspagina's.
Wanneer u 'oorspronkelijke pagina's' heeft die verwijzen naar andere pagina's, moet onze crawler de oorspronkelijke pagina's bezoeken om te bepalen of er sprake is van een verwijzing. Daarom wordt het bezoek van onze crawler aan de oorspronkelijke pagina's weergegeven in uw toegangslogbestanden.
- Er is geen controle over hoe vaak de crawler uw sitecontent indexeert.
Op dit moment hebben we geen controle over het opnieuw crawlen van sites. Het crawlen wordt automatisch door onze bots uitgevoerd. Als u wijzigingen aanbrengt op een pagina, kan het 1 tot 2 weken duren voordat de wijzigingen in onze index worden opgenomen.
