Rapport Crawlstatistieken (websites)

Het rapport Crawlstatistieken (alleen voor websites) levert informatie over de activiteit van Googlebot op je site in de afgelopen 90 dagen. Bij deze statistieken wordt rekening gehouden met alle contenttypen die we downloaden (zoals CSS, JavaScript, Flash- en pdf-bestanden en afbeeldingen).

Het rapport Crawlstatistieken openen

Crawlstatistieken zijn alleen beschikbaar voor geverifieerde websites.

De gegevens interpreteren

Er is geen 'goede' crawlwaarde, maar je zou een relatief gelijkmatig diagram moeten zien dat geleidelijk toeneemt naarmate je je site verder uitbreidt. Als je een plotselinge afname of toename detecteert, lees je verder.

Waarom is de crawlsnelheid afgenomen?

In het algemeen moet je Google-crawlsnelheid relatief stabiel zijn gedurende een periode van een of twee weken. Als je een plotselinge afname detecteert, kan dit de volgende oorzaken hebben:

  • Je hebt een nieuwe (of zeer brede) robots.txt-regel toegevoegd. Zorg ervoor dat je alleen bronnen blokkeert waarvoor dat nodig is. Als Google specifieke bronnen (zoals CSS of JavaScript) nodig heeft om de content te interpreteren, moet je ervoor zorgen dat deze bronnen niet worden geblokkeerd voor Googlebot.
  • Niet-werkende HTML-code of niet-ondersteunde content op je pagina's. Als Googlebot de content van de pagina niet kan parseren (omdat de pagina misschien een niet-ondersteund mediatype gebruikt of de pagina alleen bestaat uit afbeeldingen), kan Googlebot de pagina niet crawlen. Gebruik de URL-inspectietool om te bekijken hoe Google je pagina ziet.
  • Als je site langzaam reageert op verzoeken, beperkt Googlebot het aantal verzoeken om te voorkomen dat je server overbelast raakt. Controleer in het rapport Crawlstatistieken of je site langzamer heeft gereageerd.
  • Als het aantal serverfouten toeneemt, beperkt Googlebot het aantal verzoeken om te voorkomen dat je server overbelast raakt. Controleer het rapport Crawlfouten op een toename in het aantal serververbindingsfouten.
  • Controleer of je de gewenste maximale crawlsnelheid hebt verlaagd.
  • Als een site informatie bevat die minder vaak verandert, of als de site niet van hoge kwaliteit is, crawlen we deze mogelijk niet zo vaak.  Werp een objectieve blik op je site, vraag om neutrale feedback van mensen die geen connectie met je site hebben en denk na over hoe en waar je site kan worden verbeterd.

Waarom is de crawlsnelheid toegenomen?

Als je nieuwe informatie op de site hebt geplaatst of je site erg nuttige informatie bevat, kan de site vaker worden gecrawld dan je wilt. Als je denkt dat je server overbelast raakt, volgen hier enkele tips voor het beheren van de crawlsnelheid van Googlebot voor je site:

  • Bekijk het rapport Crawlstatistieken om te bevestigen dat Googlebot (en niet een andere aanvrager) toegang heeft tot je site. Controleer ook de user-agent in je logboeken.
  • Als je de crawls van Googlebot direct wilt blokkeren, retourneer je 503 HTTP-resultaatcodes voor de verzoeken van Googlebot.
  • Verfijn je robots.txt-bestand om pagina's te blokkeren die niet moeten worden aangeroepen.
  • Als kortetermijnoplossing kun je de gewenste maximale crawlsnelheid instellen in Search Console. We raden je af deze oplossing op de lange termijn te gebruiken, omdat je ons zo niet expliciet laat weten welke pagina's of bronnen je wel of niet wilt laten crawlen.
  • Zorg ervoor dat je crawlen niet toestaat voor pagina's met 'oneindige' resultaten, zoals een oneindige kalender of oneindige zoekpagina. Blokkeer ze met het robots.txt-bestand of nofollow-tags.
  • Als URL's niet meer bestaan of zijn verplaatst, moet je ervoor zorgen dat je de juiste reactiecodes retourneert. Gebruik 404 of 410 voor URL's die niet meer bestaan of ongeldig zijn; gebruik 301-omleidingen voor URL's die permanent zijn vervangen door andere (302 als dit niet permanent is); gebruik 503 voor tijdelijke, geplande downtime; zorg ervoor dat je server een 500-fout retourneert wanneer deze problemen tegenkomt die niet kunnen worden verwerkt.

 

Was dit nuttig?
Hoe kunnen we dit verbeteren?