Ervoor zorgen dat Googlebot niet wordt geblokkeerd

Als u de toegang tot een site voor Googlebot blokkeert, kan dit rechtstreeks gevolgen hebben voor de mogelijkheid van Googlebot site-inhoud te crawlen en te indexeren, wat kan leiden tot een lagere positie in de zoekresultaten van Google. Helaas blokkeren veel webmasters per ongeluk de toegang van Googlebot tot hun site. Zo schakelen ze, zonder zich daarvan bewust te zijn, de toegang tot hun site uit die voor Googlebot nodig is om de aanwijzingen in het robots.txt-bestand te lezen en op te volgen.

Wanneer Google dit probleem detecteert, kunnen we Webmasterhulpprogramma's van Google gebruiken om site-eigenaren te informeren dat Googlebot wordt geblokkeerd.

Problemen met blokkade voor Googlebot vaststellen

Als u denkt dat de toegang tot uw site voor Googlebot wordt geblokkeerd, of als u een bericht ontvangt waarin staat dat dit het geval is, controleert u het volgende in Webmasterhulpprogramma's van Google:

  • Crawlfouten. Op deze pagina worden fouten weergegeven die Googlebot onlangs heeft ondervonden bij het crawlen van uw website.
  • Weergeven als Google. Op deze pagina kunt u Google vragen een specifieke pagina te crawlen en daarvan snel de resultaten (inclusief fouten) weer te geven.

Voor meer ondersteuning bij het vaststellen en oplossen van deze problemen gaat u naar het Helpforum voor webmasters.

Algemene oorzaken

Hier vindt u enkele algemene redenen waarom Googlebot geen toegang kan krijgen tot uw website.

DNS-problemen

Er kunnen geen gegevens worden uitgewisseld met de DNS-server tijdens het openen van uw website. De reden hiervoor kan zijn dat de DNS-server niet beschikbaar is of dat er een probleem is met DNS-routering naar uw domein.

Om dit probleem op te lossen, moet u controleren of de DNS-server (mogelijk per ongeluk) Googlebot blokkeert.

Firewalls

In sommige gevallen blokkeert een verkeerd geconfigureerde firewall of DoS-beveiligingssysteem (soms het inhoudbeheersysteem van de site) de website voor crawlen door Googlebot. Beveiligingssystemen vormen een belangrijk onderdeel van goede hosting en zijn vaak geconfigureerd om automatisch overmatig veel serververzoeken te blokkeren. Omdat Googlebot echter vaak meer verzoeken doet dan een menselijke gebruiker, kan het zijn dat deze beveiligingssystemen worden ingeschakeld en voorkomen dat Googlebot uw website crawlt.

Om dergelijke problemen op te lossen, gaat u na welk deel van de infrastructuur van uw website Googlebot blokkeert en verwijdert u deze blokkade. Het kan zijn dat u de firewall niet zelf beheert. Als dit het geval is, neemt u contact op met uw hostingprovider.

Opzettelijk blokkeren door de webmaster

Sommige webmasters zorgen er opzettelijk voor dat Googlebot hun website niet kan bereiken, mogelijk via een firewall, zoals hierboven is beschreven. In die gevallen is het meestal niet de bedoeling Googlebot volledig te blokkeren, maar om te bepalen hoe de site wordt gecrawld en geïndexeerd. Controleer in dit geval het volgende:

Meer ondersteuning

Voor meer ondersteuning bij het vaststellen en oplossen van deze problemen gaat u naar het Helpforum voor webmasters.