Tester pliku robots.txt pokazuje, czy dostęp robotów indeksujących Google do określonych adresów URL w witrynie jest skutecznie zablokowany w danym pliku robots.txt. Za pomocą tego narzędzia możesz na przykład sprawdzić, czy Googlebot indeksujący obrazy jest w stanie zindeksować adres URL obrazu, którego nie chcesz pokazywać w wyszukiwarce grafiki Google.
Otwórz tester pliku robots.txt
Możesz przesłać adres URL do Testera pliku robots.txt. Narzędzie działa jak Googlebot – odczytuje plik robots.txt i zweryfikuje, czy dany URL został poprawnie zablokowany.
Testowanie pliku robots.txt
- Otwórz narzędzie do testowania witryny i przewiń w dół kod pliku
robots.txt, by zlokalizować zaznaczone ostrzeżenia o błędach w składni i błędy logiczne. Liczba ostrzeżeń o błędach w składni i błędach logicznych wyświetla się tuż pod edytorem. - W polu tekstowym na dole strony wpisz adres URL strony Twojej witryny.
- Z listy rozwijanej po prawej stronie pola tekstowego wybierz klienta użytkownika, którego chcesz symulować.
- Kliknij przycisk TEST, by sprawdzić dostęp.
- Sprawdź, czy na przycisku TEST jest komunikat DOZWOLONY czy ZABLOKOWANY – to informacja o dostępie robotów indeksujących Google do wpisanego adresu URL.
- Zedytuj plik na stronie i, jeśli to konieczne, powtórz test. Pamiętaj, że zmiany na stronie nie są zapisywane w witrynie. Przejdź do następnego punktu.
- Skopiuj zmiany do pliku robots.txt witryny. To narzędzie nie wprowadza zmian w faktycznym pliku witryny, sprawdza tylko przechowywaną kopię.
Ograniczenia narzędzia Tester pliku robots.txt:
- Zmiany wprowadzone w edytorze narzędzia nie zapisują się automatycznie na serwerze WWW. Musisz skopiować zawartość edytora i wkleić ją do pliku
robots.txtumieszczonego na serwerze. - Tester pliku robots.txt sprawdza plik
robots.txttylko pod kątem klientów użytkownika i robotów indeksujących Google, takich jak Googlebot. Nie jesteśmy w stanie przewidzieć, jak inne roboty zinterpretują zapisy w danym plikurobots.txt.
