Testare i file robots.txt con il Tester dei file robots.txt

Lo strumento Tester dei file robots.txt ti permette di sapere se il tuo file robots.txt impedisce l'accesso a URL specifici sul tuo sito ai web crawler di Google. Ad esempio, puoi utilizzare questo strumento per verificare se il crawler Googlebot di Google Immagini riesce a eseguire la scansione dell'URL di un'immagine che vuoi bloccare dalla ricerca di immagini di Google.

 

Apri il Tester dei file robots.txt

 

Puoi inserire un URL nello strumento Tester dei file robots.txt. Lo strumento funziona come farebbe Googlebot per controllare il tuo file robots.txt e verificare che l'URL sia stato bloccato correttamente.

Testare i file robots.txt

1. Apri lo strumento Tester del tuo sito e fai scorrere il codice robots.txt per individuare gli avvisi relativi agli errori di sintassi e gli errori di logica evidenziati. Il numero di avvisi relativi agli errori di sintassi e di errori di logica viene mostrato immediatamente al di sotto dell'editor.
2. Digita l'URL di una pagina del tuo sito in una casella di testo in fondo alla pagina.
3. Seleziona lo user agent per il quale vuoi eseguire la simulazione nell'elenco a discesa a destra della casella di testo.
4. Fai clic sul pulsante TESTA per eseguire un test dell'accesso.
5. Accertati che il pulsante TESTA riporti la dicitura ACCETTATO o BLOCCATO per scoprire se l'URL da te inserito è stato bloccato dai web crawler di Google.
6. Modifica il file nella pagina ed esegui nuovamente il test come richiesto. Tieni presente che le modifiche apportate alla pagina non vengono salvate sul sito. Vedi il passaggio seguente.
7. Copia le modifiche nel file robots.txt del tuo sito. Questo strumento non apporta modifiche al file effettivo sul tuo sito; si limita a eseguire un test sulla copia ospitata nello strumento.

Limitazioni dello strumento Tester dei file robots.txt:

• Lo strumento funziona solo con le proprietà prefisso URL, ma non con le proprietà Dominio.
• Le modifiche apportate all'editor dello strumento non vengono salvate automaticamente nel tuo server web. Devi copiare e incollare il contenuto dall'editor al file robots.txt memorizzato sul tuo server.
• Lo strumento Analizza robots.txt verifica i file robots.txt solo con user-agent o web crawler di Google, tra cui Googlebot. Non possiamo prevedere come altri web crawler interpreteranno il file robots.txt.