Websites beheren

Over de AdSense-crawler

Een crawler, ook wel een spider of bot genoemd, is de software die Google gebruikt om de content van webpagina's te verwerken en te indexeren. De AdSense-crawler bezoekt uw site om te bepalen wat de content ervan is, zodat er relevante advertenties kunnen worden weergegeven.

Hieronder vindt u enkele belangrijke feiten over de AdSense-crawler:

  • Het crawler-rapport wordt wekelijks bijgewerkt.

    Het crawlen wordt automatisch uitgevoerd. We kunnen daarom niet voldoen aan verzoeken om vaker te crawlen.

  • De AdSense-crawler is niet hetzelfde als de Google-crawler.

    Het zijn twee verschillende crawlers, maar ze delen hetzelfde cachegeheugen. We doen dit om te voorkomen dat beide crawlers dezelfde pagina's opvragen en zodoende overmatig beslag leggen op de bandbreedte van uitgevers. De crawler van Search Console is ook een aparte crawler.

  • Wanneer u een probleem met de AdSense-crawler oplost, zijn problemen met de Google-crawler niet automatisch verholpen.

    Het oplossen van de lijst met problemen op de pagina Crawler-toegang heeft geen invloed op uw plaatsing in de zoekresultaten van Google. Meer informatie over de positie van uw website in Google vindt u op Uw site in de zoekresultaten van Google laten opnemen.

  • De crawler indexeert per URL.

    Onze crawler bezoekt site.com en www.site.com afzonderlijk. Onze crawler ziet site.com en site.com/#anchor echter niet als afzonderlijke sites.

  • De crawler bezoekt geen pagina's of mappen die zijn geblokkeerd door een robots.txt-bestand.

    De crawlers van Google en AdSense Mediapartners respecteren uw robots.txt-bestand. Als uw robots.txt-bestand toegang tot bepaalde pagina's of mappen verbiedt, worden ze niet gecrawld.

    Houd er rekening mee dat als u advertenties aanbiedt op pagina's die door middel van de regel User-agent: * worden uitgesloten, deze pagina's toch door de AdSense-crawler worden gecrawld. Als u niet wilt dat de AdSense-crawler uw pagina's analyseert, moet u in uw bestand robots.txt de regel User-agent: Mediapartners-Google opnemen. Meer informatie
  • De crawler probeert alleen toegang te krijgen tot URL's waarin onze advertentietags zijn geïmplementeerd.

    Alleen pagina's met Google-advertenties mogen verzoeken naar ons systeem sturen en worden gecrawld.

  • De crawler probeert toegang te krijgen tot verwijzingspagina's.

    Wanneer u 'oorspronkelijke pagina's' heeft die verwijzen naar andere pagina's, moet onze crawler de oorspronkelijke pagina's bezoeken om te bepalen of er sprake is van een verwijzing. Daarom wordt het bezoek van de crawler aan de oorspronkelijke pagina's weergegeven in uw toegangslogbestanden.

  • Sites opnieuw crawlen

    Op dit moment hebben we geen controle over hoe vaak onze crawlers de content op uw site indexeren. Het crawlen wordt automatisch door onze bots uitgevoerd. Als u wijzigingen aanbrengt op een pagina, kan het één tot twee weken duren voordat de wijzigingen in onze index worden opgenomen.

Was dit nuttig?
Hoe kunnen we dit verbeteren?