Værktøjet Test af robots.txt viser dig, om din robots.txt-fil blokerer Googles webcrawlere fra specifikke webadresser på dit website. Du kan f.eks. bruge værktøjet til at finde ud af, om Googlebot-Image kan crawle webadressen for et billede, som du vil blokere, så det ikke vises i Google-billedsøgning.
Du kan også sende en webadresse til værktøjet Test af robots.txt. Værktøjet tjekker din robots.txt-fil på samme måde som Googlebot ville gøre, og bekræfter, om din webadresse er blokeret korrekt.
Test din robots.txt-fil
- Åbn testværktøjet for dit website, og gennemse
robots.txt-filenskode for at finde de fremhævede syntaksadvarsler og logikfejl. Antallet af syntaksadvarsler eller logikfejl vises med det samme neden for redigeringsværktøjet. - Angiv webadressen for en side på dit website i tekstfeltet nederst på siden.
- Vælg den brugeragent, du vil simulere, på rullelisten til højre for tekstfeltet.
- Klik på knappen Test for at teste adgang.
- Tjek, om knappen TEST er skiftet til ACCEPTERET eller BLOKERET for at indikere, om den webadresse, du angav, er blokeret for Googles webcrawlere.
- Rediger filen på siden, og test eventuelt igen. Bemærk! De ændringer, du foretager på siden, gemmes ikke på dit website. Se næste trin.
- Kopiér dine ændringer til robots.txt-filen på dit website. Dette værktøj foretager ikke ændringer i selve filen på dit website. Det tester kun på den kopi, der hostes i værktøjet.
Begrænsninger i værktøjet Test af robots.txt:
- Værktøjet fungerer kun på ejendomme med webadressepræfiks. Det fungerer ikke på domæneejendomme.
- De ændringer, du foretager i redigeringsværktøjet, gemmes ikke automatisk på din webserver. Du skal kopiere indholdet fra redigeringsværktøjet og indsætte det i den
robots.txt-fil, der er gemt på din server. - Værktøjet Test af robots.txt tester desuden kun
robots.txt-filermed Googles brugeragenter, såsom Googlebot. Vi kan ikke forudse, hvordan andre webcrawlere tolker dinrobots.txt-fil.
