Sprawdzanie pliku robots.txt za pomocą testera

Tester pliku robots.txt pokazuje, czy dostęp robotów indeksujących Google do określonych adresów URL w witrynie jest skutecznie zablokowany w danym pliku robots.txt. Za pomocą tego narzędzia możesz na przykład sprawdzić, czy Googlebot indeksujący obrazy jest w stanie zindeksować adres URL obrazu, którego nie chcesz pokazywać w wyszukiwarce grafiki Google.

Otwórz tester pliku robots.txt

Możesz przesłać adres URL do Testera pliku robots.txt. Narzędzie działa jak Googlebot – odczytuje plik robots.txt i zweryfikuje, czy dany URL został poprawnie zablokowany.

Testowanie pliku robots.txt

1. Otwórz narzędzie do testowania witryny i przewiń w dół kod pliku robots.txt, by zlokalizować zaznaczone ostrzeżenia o błędach w składni i błędy logiczne. Liczba ostrzeżeń o błędach w składni i błędach logicznych wyświetla się tuż pod edytorem. 
2. W polu tekstowym na dole strony wpisz adres URL strony Twojej witryny.
3. Z listy rozwijanej po prawej stronie pola tekstowego wybierz klienta użytkownika, którego chcesz symulować.
4. Kliknij przycisk TEST, by sprawdzić dostęp.
5. Sprawdź, czy na przycisku TEST jest komunikat DOZWOLONY czy ZABLOKOWANY – to informacja o dostępie robotów indeksujących Google do wpisanego adresu URL.
6. Zedytuj plik na stronie i, jeśli to konieczne, powtórz test. Pamiętaj, że zmiany na stronie nie są zapisywane w witrynie. Przejdź do następnego punktu.
7. Skopiuj zmiany do pliku robots.txt witryny. To narzędzie nie wprowadza zmian w faktycznym pliku witryny, sprawdza tylko przechowywaną kopię.