Crawlsnelheid van Googlebot wijzigen

De term crawlsnelheid verwijst naar het aantal verzoeken per seconde dat Googlebot tijdens de crawlprocedure naar je site stuurt (bijvoorbeeld vijf verzoeken per seconde).

Je kunt niet wijzigen hoe vaak Google je site crawlt, maar als je wilt dat Google nieuwe of geüpdatete content op je site crawlt, kun je een nieuwe crawl aanvragen.

Correct gebruik

Google beschikt over geavanceerde algoritmen die de optimale crawlsnelheid voor een site bepalen. Ons doel is per bezoek zo veel mogelijk pagina's van je site te crawlen, zonder de bandbreedte van je server te veel te belasten.

Als Google te veel verzoeken per seconde naar je site stuurt en je server vertraagt, kun je beperken hoe snel Google je site crawlt.

Je kunt de crawlsnelheid beperken voor sites op hoofdniveau, bijvoorbeeld www.example.com en http://subdomain.example.com. De crawlsnelheid die je instelt, is de maximale crawlsnelheid voor Googlebot. Houd er rekening mee dat dit niet garandeert dat Googlebot deze maximale snelheid haalt.

We raden je aan de crawlsnelheid alleen te beperken als je problemen met laden op de server ondervindt die worden veroorzaakt door het feit dat Googlebot je server te vaak bezoekt.

Je kunt de crawlsnelheid niet wijzigen voor sites die zich niet op hoofdniveau bevinden, zoals www.example.com/folder.

De crawlsnelheid beperken

  1. Open de pagina met instellingen voor de crawlsnelheid voor je property.
    • Als je crawlsnelheid wordt beschreven als 'de optimale snelheid die Google heeft berekend', kun je de crawlsnelheid alleen verlagen door een speciaal verzoek in te dienen. Je kunt de crawlsnelheid niet verhogen.
    • Anders selecteer je de gewenste optie en beperk je de crawlsnelheid naar wens. De nieuwe crawlsnelheid wordt negentig dagen toegepast.

 

Was dit nuttig?
Hoe kunnen we dit verbeteren?