Over robots.txt

Uw robots.txt testen met de robots.txt-tester

Met de tool robots.txt-tester kunt u zien of uw robots.txt-bestand de toegang tot een specifieke URL op uw site blokkeert voor de webcrawlers van Google. U kunt deze tool bijvoorbeeld gebruiken om te controleren of de Googlebot-Image-crawler de URL kan crawlen van een afbeelding die u wilt blokkeren voor Google Afbeeldingen.

 

robots.txt-tester openen

 

U kunt ook een URL opgeven in de tool robots.txt-tester. De tool verifieert deze URL op dezelfde manier als Googlebot het robots.txt-bestand om te controleren of uw URL goed is geblokkeerd.

Uw robots.txt-bestand testen

  1. Open de tester-tool voor uw site en scrol door de robots.txt-code om de gemarkeerde syntaxiswaarschuwingen en logicafouten te zoeken. Het aantal syntaxiswaarschuwingen en logicafouten wordt meteen onder de editor weergegeven. 
  2. Typ de URL van een pagina op uw site in het tekstvak onder aan de pagina.
  3. Selecteer de user-agent die u wilt simuleren in het dropdown-menu rechts van het tekstvak.
  4. Klik op de knop TESTEN om de toegang te testen.
  5. Controleer of op de knop TESTEN nu de tekst GEACCEPTEERD of GEBLOKKEERD wordt weergegeven om te bepalen of de URL die u heeft opgegeven, voor webcrawlers van Google wordt geblokkeerd.
  6. Bewerk het bestand op de pagina en voer de test zo nodig opnieuw uit. Houd er rekening mee dat wijzigingen die op de pagina worden aangebracht, niet worden opgeslagen op uw site. Bekijk de volgende stap.
  7. Kopieer uw wijzigingen naar het robots.txt-bestand op uw site. Deze tool brengt geen wijzigingen aan in het daadwerkelijke bestand op uw site. Er worden alleen tests uitgevoerd met de kopie van het bestand die wordt gehost in de tool.

Beperkingen van de tool robots.txt-tester:

  • Wijzigingen die u in de editor van de tool aanbrengt, worden niet automatisch opgeslagen op uw webserver. U moet de inhoud in de editor kopiëren en plakken in het robots.txt-bestand dat is opgeslagen op uw server.
  • De tool robots.txt-tester test uw robots.txt-bestand alleen voor user-agents of webcrawlers van Google, zoals Googlebot. We kunnen niet voorspellen hoe andere robots het robots.txt-bestand interpreteren.
Was dit nuttig?
Hoe kunnen we dit verbeteren?