Crawlsnelheid van Googlebot wijzigen

De term crawlsnelheid verwijst naar het aantal verzoeken per seconde dat Googlebot tijdens de crawlprocedure naar je site stuurt (bijvoorbeeld vijf verzoeken per seconde).

Je kunt niet veranderen hoe vaak Google je site crawlt, maar als je wilt dat Google nieuwe of geüpdatete content op je site crawlt, kun je een nieuwe crawl aanvragen.

Juist gebruik

Google beschikt over geavanceerde algoritmen die de optimale crawlsnelheid voor een site bepalen. Ons doel is per bezoek zo veel mogelijk pagina's van je site te crawlen, zonder de bandbreedte van je server te veel te belasten.

Als Google te veel verzoeken per seconde naar je site stuurt en je server vertraagt, kun je beperken hoe snel Google je site crawlt.

Je kunt de crawlsnelheid beperken voor sites op hoofdniveau, bijvoorbeeld www.example.com en http://subdomain.example.com. De crawlsnelheid die je instelt, is de maximale crawlsnelheid voor Googlebot. Houd er rekening mee dat dit niet garandeert dat Googlebot deze maximale snelheid haalt.

We raden je aan de crawlsnelheid alleen te beperken als je problemen met laden op de server ondervindt doordat Googlebot je server te vaak bezoekt.

Je kunt de crawlsnelheid niet veranderen voor sites die zich niet op hoofdniveau bevinden, zoals www.example.com/folder.

De crawlsnelheid beperken

  1. Open de pagina met instellingen voor de crawlsnelheid voor je property.
    • Als je crawlsnelheid wordt beschreven als 'de optimale snelheid die Google heeft berekend', kun je de crawlsnelheid alleen verlagen door een speciaal verzoek in te dienen. Je kunt de crawlsnelheid niet verhogen.
    • Anders selecteer je de gewenste optie en beperk je de crawlsnelheid naar wens. De nieuwe crawlsnelheid wordt negentig dagen toegepast.

Beperking voor crawlen in noodgevallen

Als je site zo vaak wordt gecrawld dat deze beschikbaarheidsproblemen ondervindt, kun je de site zo beschermen:

  1. Bepaal welke Google-crawler je site te vaak crawlt. Bekijk je websitelogboeken of gebruik het rapport Crawlstatistieken.
  2. Onmiddellijke oplossing:
    • Als je een makkelijke oplossing wilt, gebruik je robots.txt om het crawlen te blokkeren voor de agent (googlebot, adsbot, enzovoort) die de overbelasting veroorzaakt. Het kan wel een dag duren voordat de wijzigingen in werking treden.
    • Als je toegenomen belasting dynamisch kunt vaststellen en hierop kunt reageren, retourneer je HTTP 5XX/429 als je de weergavelimiet nadert. Zorg dat je 5XX of 429 niet meer dan twee of drie dagen lang retourneert. Als je dit wel doet, kan Google een signaal ontvangen om je site op de lange termijn minder vaak te crawlen.
  3. Wijzig de crawlsnelheid op de pagina 'Instellingen voor crawlsnelheid' (als die optie beschikbaar is).
  4. Als de crawlsnelheid van Google twee of drie dagen later is aangepast, kun je de robots.txt-blokkeringen verwijderen of ophouden met het retourneren van de foutcodes uit stap 1.
  5. Als je site wordt overbelast door crawls van AdsBot, is het probleem waarschijnlijk dat je te veel doelen voor dynamische zoekadvertenties op je site hebt gemaakt met URL_Equals of paginafeeds. Als je niet over de servercapaciteit beschikt om deze crawls te verwerken, moet je je advertentiedoelen beperken, URL's in kleinere batches toevoegen of je weergavecapaciteit vergroten. AdsBot crawlt je pagina's elke 2 weken. Je moet het probleem dus verhelpen om te voorkomen dat het opnieuw optreedt.
  6. Als je de crawlsnelheid hebt beperkt via de pagina met crawlinstellingen, wordt de crawlsnelheid na 90 dagen weer automatisch aangepast.
Was dit nuttig?
Hoe kunnen we dit verbeteren?
Zoeken
Zoekopdracht verwijderen
Zoekfunctie sluiten
Google-apps
Hoofdmenu
Zoeken in het Helpcentrum
true
83844
false