Je robots.txt-bestand testen met de robots.txt-tester

Met de tool robots.txt-tester kun je zien of je robots.txt-bestand de toegang tot specifieke URL's op je site blokkeert voor de webcrawlers van Google. Je kunt deze tool bijvoorbeeld gebruiken om na te gaan of de Googlebot-Image-crawler de URL kan crawlen van een afbeelding die je wilt blokkeren voor Google Afbeeldingen.

 

robots.txt-tester openen

 

Je kunt ook een URL opgeven in de tool robots.txt-tester. De tool checkt je robots.txt-bestand op dezelfde manier als Googlebot en gaat na of je URL goed is geblokkeerd.

Je robots.txt-bestand testen

  1. Open de tester-tool voor je site en scroll door de robots.txt-code om de gemarkeerde syntaxiswaarschuwingen en logicafouten te zoeken. Je ziet het aantal syntaxiswaarschuwingen en logicafouten meteen onder de editor.
  2. Typ de URL van een pagina op je site in het tekstvak onderaan de pagina.
  3. Selecteer de user-agent die je wilt simuleren in het dropdownmenu rechts van het tekstvak.
  4. Klik op de knop TESTEN om de toegang te testen.
  5. Kijk of je op de knop TESTEN nu de tekst GEACCEPTEERD of GEBLOKKEERD ziet om te bepalen of de URL die je hebt opgegeven, wordt geblokkeerd voor webcrawlers van Google.
  6. Bewerk het bestand op de pagina en voer de test zo nodig opnieuw uit. Houd er rekening mee dat wijzigingen die op de pagina worden aangebracht, niet worden opgeslagen op je site. Bekijk de volgende stap.
  7. Kopieer je wijzigingen naar het robots.txt-bestand op je site. Deze tool brengt geen wijzigingen aan in het daadwerkelijke bestand op je site. Er worden alleen tests uitgevoerd met de kopie van het bestand die wordt gehost in de tool.

Beperkingen van de tool robots.txt-tester:

  • De tool werkt alleen met property's met een URL-voorvoegsel en niet met domeinproperty's.
  • Wijzigingen die je in de editor van de tool aanbrengt, worden niet automatisch opgeslagen op je webserver. Je moet de content in de editor kopiëren en plakken in het robots.txt-bestand dat is opgeslagen op je server.
  • De tool robots.txt-tester test je robots.txt-bestand alleen voor user-agents of webcrawlers van Google, zoals Googlebot. We kunnen niet voorspellen hoe andere webcrawlers het robots.txt-bestand interpreteren.
Was dit nuttig?
Hoe kunnen we dit verbeteren?