Een crawler, ook wel een spider of bot genoemd, is de software die Google gebruikt om de content van webpagina's te verwerken en te indexeren. De AdSense-crawler bezoekt uw site om de inhoud ervan te bepalen, zodat er relevante advertenties kunnen worden weergegeven.
Hieronder vindt u enkele belangrijke feiten over de AdSense-crawler:
- Het crawler-rapport wordt wekelijks geüpdatet.
Het crawlen wordt automatisch uitgevoerd. We kunnen daarom niet voldoen aan verzoeken om vaker te crawlen.
- De AdSense-crawler is niet hetzelfde als de Google-crawler.
Het zijn twee verschillende crawlers, maar ze delen hetzelfde cachegeheugen. We doen dat om te voorkomen dat beide crawlers dezelfde pagina's opvragen en zodoende overmatig beslag leggen op de bandbreedte van uitgevers. De crawler van Search Console is ook een aparte crawler.
- Wanneer u een probleem met de AdSense-crawler oplost, zijn problemen met de Google-crawler niet automatisch verholpen.
Als u de lijst met problemen op de pagina Crawler-toegang oplost, heeft dat geen gevolgen voor uw plaatsing in de zoekresultaten van Google. Meer informatie over de positie van uw site op Google vindt u in het artikel Uw site in de zoekresultaten van Google laten opnemen.
- De crawler indexeert per URL.
Onze crawler bezoekt site.com en www.site.com afzonderlijk. Onze crawler ziet site.com en site.com/#anchor echter niet als afzonderlijke sites.
- De crawler bezoekt geen pagina's of mappen die zijn geblokkeerd door een robots.txt-bestand.
De crawlers van Google en AdSense Mediapartners respecteren uw robots.txt-bestand. Als uw robots.txt-bestand toegang tot bepaalde pagina's of mappen verbiedt, worden ze niet gecrawld.
Opmerking: Als u advertenties aanbiedt op pagina's die door middel van de regelUser-agent: *worden uitgesloten, worden deze pagina's toch door de AdSense-crawler gecrawld. Als u niet wilt dat de AdSense-crawler uw pagina's analyseert, moet u in uw bestand robots.txt de regelUser-agent: Mediapartners-Googleopnemen. - De crawler probeert alleen toegang te krijgen tot URL's waarin onze advertentietags zijn geïmplementeerd.
Alleen pagina's met Google-advertenties mogen verzoeken naar ons systeem sturen en worden gecrawld.
- De crawler probeert toegang te krijgen tot verwijzingspagina's.
Wanneer u 'oorspronkelijke pagina's' heeft die verwijzen naar andere pagina's, moet onze crawler de oorspronkelijke pagina's bezoeken om te bepalen of er sprake is van een verwijzing. Daarom wordt het bezoek van de crawler aan de oorspronkelijke pagina's weergegeven in uw toegangslogboeken
- Er is geen controle over hoe vaak de crawler uw sitecontent indexeert.
Op dit moment hebben we geen controle over het opnieuw crawlen van sites. Het crawlen wordt automatisch door onze bots uitgevoerd. Als u wijzigingen aanbrengt op een pagina, kan het 1 tot 2 weken duren voordat de wijzigingen in onze index worden opgenomen.
