Sprawdzanie pliku robots.txt za pomocą testera

Tester pliku robots.txt pokazuje, czy dostęp robotów indeksujących Google do określonych adresów URL w witrynie jest skutecznie zablokowany w danym pliku robots.txt. Za pomocą tego narzędzia możesz na przykład sprawdzić, czy Googlebot indeksujący obrazy jest w stanie zindeksować adres URL obrazu, którego nie chcesz pokazywać w wyszukiwarce grafiki Google.

 

Otwórz tester pliku robots.txt

 

Możesz przesłać adres URL do Testera pliku robots.txt. Narzędzie działa jak Googlebot – odczytuje plik robots.txt i weryfikuje, czy dany URL został poprawnie zablokowany.

Testowanie pliku robots.txt

1. Otwórz narzędzie do testowania witryny i przewiń w dół kod pliku robots.txt, aby zlokalizować zaznaczone ostrzeżenia o błędach w składni i błędy logiczne.Liczba ostrzeżeń o błędach w składni i błędach logicznych wyświetla się tuż pod edytorem.
2. W polu tekstowym na dole strony wpisz adres URL strony Twojej witryny.
3. Z listy rozwijanej po prawej stronie pola tekstowego wybierz klienta użytkownika, którego chcesz symulować.
4. Kliknij przycisk TEST, aby sprawdzić dostęp.
5. Sprawdź, czy na przycisku TEST pojawi się komunikat DOZWOLONY czy ZABLOKOWANY – to informacja o tym, czy roboty indeksujące mają dostęp do wpisanego adresu URL.
6. Wprowadź zmiany w pliku na stronie i jeśli to konieczne, powtórz test.Pamiętaj, że zmiany na stronie nie są zapisywane w witrynie. Przejdź do następnego punktu.
7. Skopiuj zmiany do pliku robots.txt witryny. To narzędzie nie wprowadza zmian w faktycznym pliku witryny, sprawdza tylko przechowywaną kopię.

Ograniczenia narzędzia Tester pliku robots.txt:

• Narzędzie działa tylko w usługach z prefiksem URL. Nie działa w przypadku usług domeny.
• Zmiany wprowadzone w edytorze narzędzia nie zapisują się automatycznie na serwerze WWW. Musisz skopiować zawartość edytora i wkleić ją do pliku robots.txt umieszczonego na serwerze.
• Tester pliku robots.txt sprawdza plik robots.txt tylko pod kątem klientów użytkownika i robotów indeksujących Google, takich jak Googlebot. Nie jesteśmy w stanie przewidzieć, jak inne roboty zinterpretują zapisy w danym pliku robots.txt.