Fouten vanwege geweigerde toegang

Wat is een fout vanwege geweigerde toegang?

Over het algemeen ontdekt Google inhoud door links van de ene naar de andere pagina te volgen. Om een pagina te crawlen, moet Googlebot toegang kunnen krijgen tot die pagina. Als u onverwachte fouten met betrekking tot geweigerde toegang ziet, kan dat een van de volgende redenen hebben:

• Googlebot krijgt geen toegang tot een URL op uw site omdat gebruikers van uw site zich moeten aanmelden om alle of een deel van uw inhoud te zien.
• Uw tag robots.txt voorkomt dat Google toegang krijgt tot uw hele site of tot afzonderlijke URL's of mappen.
• Uw server vereist dat gebruikers zich identificeren via een proxy of uw hostingprovider kan de toegang van Google tot uw site blokkeren.

Wat te doen met fouten vanwege geweigerde toegang

• Controleer of uw robots.txt werkt zoals verwacht en niet Google blokkeert. Met het testhulpprogramma voor robots.txt kunt u precies zien hoe Googlebot de inhoud van uw robots.txt-bestand interpreteert. De Google-user-agent is Googlebot. 
• Gebruik Fetchen als Google om te bekijken hoe Googlebot uw site ziet. Dit kan erg handig zijn wanneer u problemen met de inhoud of vindbaarheid van uw site in de zoekresultaten moet oplossen.