Informacje o pliku robots.txt

Sprawdzanie pliku robots.txt za pomocą testera

Tester pliku robots.txt pokazuje, czy dostęp robotów indeksujących Google do określonych adresów URL w witrynie jest skutecznie zablokowany w danym pliku robots.txt. Za pomocą tego narzędzia możesz na przykład sprawdzić, czy Googlebot indeksujący obrazy jest w stanie zindeksować adres URL obrazu, którego nie chcesz pokazywać w wyszukiwarce grafiki Google.

 

Otwórz tester pliku robots.txt

 

Możesz przesłać adres URL do Testera pliku robots.txt. Narzędzie działa jak Googlebot – odczytuje plik robots.txt i zweryfikuje, czy dany URL został poprawnie zablokowany.

Testowanie pliku robots.txt

  1. Otwórz narzędzie do testowania witryny i przewiń w dół kod pliku robots.txt, by zlokalizować zaznaczone ostrzeżenia o błędach w składni i błędy logiczneLiczba ostrzeżeń o błędach w składni i błędach logicznych wyświetla się tuż pod edytorem. 
  2. W polu tekstowym na dole strony wpisz adres URL strony Twojej witryny.
  3. Z listy rozwijanej po prawej stronie pola tekstowego wybierz klienta użytkownika, którego chcesz symulować.
  4. Kliknij przycisk TEST, by sprawdzić dostęp.
  5. Sprawdź, czy na przycisku TEST jest komunikat DOZWOLONY czy ZABLOKOWANY – to informacja o dostępie robotów indeksujących Google do wpisanego adresu URL.
  6. Zedytuj plik na stronie i, jeśli to konieczne, powtórz test. Pamiętaj, że zmiany na stronie nie są zapisywane w witrynie. Przejdź do następnego punktu.
  7. Skopiuj zmiany do pliku robots.txt witryny. To narzędzie nie wprowadza zmian w faktycznym pliku witryny, sprawdza tylko przechowywaną kopię.

Ograniczenia narzędzia Tester pliku robots.txt:

  • Zmiany wprowadzone w edytorze narzędzia nie zapisują się automatycznie na serwerze WWW. Musisz skopiować zawartość edytora i wkleić ją do pliku robots.txt umieszczonego na serwerze.
  • Tester pliku robots.txt sprawdza plik robots.txt tylko pod kątem klientów użytkownika i robotów indeksujących Google, takich jak Googlebot. Nie jesteśmy w stanie przewidzieć, jak inne roboty zinterpretują zapisy w danym pliku robots.txt.
Czy to było pomocne?
Jak możemy ją poprawić?