Als je pagina voor Google wordt geblokkeerd door een robots.txt-regel, wordt deze waarschijnlijk niet weergegeven in Google-zoekresultaten. In het onwaarschijnlijke geval dat dit wel gebeurt, bevat het resultaat geen beschrijving.
1. Ga na of een pagina wordt geblokkeerd door robots.txt
Als je het eigendom van je site hebt geverifieerd in Search Console:
- Open de URL-inspectietool.
- Inspecteer de URL die wordt getoond voor de pagina in het Google-zoekresultaat. Zorg dat je de Search Console-property hebt geselecteerd die deze URL bevat.
- Bekijk in de inspectieresultaten de status in het gedeelte Pagina-indexering. Als er Geblokkeerd door robots.txt staat, heb je het probleem bevestigd. Ga naar het volgende gedeelte om het probleem op te lossen.
Als je je site niet hebt geverifieerd in Search Console:
- Zoek een robots.txt-validator.
- Geef in de validator de URL op van de pagina waarvoor de beschrijving ontbreekt. Gebruik de URL die wordt getoond voor de pagina in de Google-zoekresultaten.
- Als de validator aangeeft dat de pagina is geblokkeerd voor Google, heb je het probleem bevestigd. Ga naar het volgende gedeelte om het probleem op te lossen.
2. Pas de regel aan
- Gebruik een robots.txt-validator om te achterhalen welke regel je pagina blokkeert en waar je robots.txt-bestand zich bevindt.
- Bewerk of verwijder de regel:
- Als je een hostingservice voor websites gebruikt (als je site zich bijvoorbeeld op Wix, Joomla of Drupal bevindt), kunnen we geen exacte richtlijnen geven om je robots.txt-bestand te updaten omdat elke hostingservice een eigen manier heeft om dit te doen. Zoek in de documentatie van je hostingprovider hoe je de blokkering van je pagina of site kunt opheffen voor Google. Voorgestelde zoektermen zijn 'robots.txt naam_provider' of 'blokkering van pagina opheffen voor Google naam_provider'. Voorbeeldzoekopdracht: robots.txt Wix
- Als je het robots.txt-bestand rechtstreeks kunt aanpassen, verwijder je de regel. Anders update je de regel via de robots.txt-syntaxis.
