Wyszukiwarka
Wyczyść wyszukiwanie
Zamknij wyszukiwanie
Aplikacje Google
Menu główne

Blokowanie URL-i w pliku robots.txt

Informacje o plikach robots.txt

Plik robots.txt to umieszczany w katalogu głównym witryny plik wskazujący te części witryny, które nie są dostępne dla robotów przeglądarek. Plik wykorzystuje standard Robots Exclusion Protocol, czyli protokół zawierający niewielki zestaw poleceń, których można użyć do wskazania dostępu do określonych sekcji witryny wybranym typom robotów indeksujących (takich jak roboty dla witryn mobilnych czy przeznaczonych na komputery stacjonarne).

Do czego służy plik robots.txt?

Pliki inne niż graficzne

W przypadku plików innych niż graficzne (takich jak strony internetowe) plik robots.txt powinien być wykorzystywany do kierowania ruchem związanym z indeksowaniem. Głównie pozwala to zapobiec przeciążeniu serwera w wyniku działania robota Google albo na przykład indeksowaniu nieistotnych czy podobnych stron w Twojej witrynie, marnując w ten sposób zasoby przeznaczone na indeksowanie. Nie używaj pliku robots.txt po to, by ukryć swoje strony przed wyświetlaniem w wynikach wyszukiwania Google. Jest to o tyle istotne, że inne strony mogą wskazywać na Twoją stronę, przez co może ona zostać zindeksowana w ten sposób z pominięciem pliku robots.txt. Jeśli chcesz zablokować wyświetlanie swojej strony w wynikach wyszukiwania, użyj innej metody – na przykład ochrony hasłem czy metatagów lub instrukcji noindex

Pliki graficzne

Plik robots.txt zapobiega pojawianiu się plików graficznych w wynikach wyszukiwania Google. Nie zapobiega on jednak kierowaniu innych stron lub użytkowników do Twojego obrazu.

Pliki zasobów

Za pomocą pliku robots.txt możesz zablokować pliki zasobów, takie jak nieistotny obraz, skrypt czy styl, jeśli uważasz, że utrata tych zasobów nie będzie istotna na stronach, które zostaną załadowane bez nich. Jeśli jednak robot Google napotka trudności w interpretacji strony z powodu braku tych zasobów, to nie należy ich blokować, bo inaczej nie uda nam się skutecznie przeanalizować stron, które są ściśle związane z tymi zasobami.

Ograniczenia pliku robots.txt

Przed rozpoczęciem tworzenia pliku robots.txt należy poznać ryzyko związane z tą metodą blokowania dostępu. Czasem warto rozważyć użycie innych mechanizmów, aby uzyskać pewność, że wybranych adresów URL nie da się znaleźć w sieci.

  • Instrukcje w pliku robots.txt to tylko polecenia

    Instrukcje w plikach robots.txt nie mogą narzucać zachowania robotowi indeksującemu Twoją witrynę – są to polecenia dla robotów indeksujących. Googlebot i inne znane roboty indeksujące stosują się do poleceń w pliku robots.txt, jednak może się zdarzyć, że niektóre roboty nie będą tego robić. Dlatego, jeśli chcesz zabezpieczyć dane przed robotami indeksującymi, lepiej wykorzystać inne metody blokowania dostępu, np. zabezpieczając hasłem prywatne pliki umieszczone na serwerze.
  • Każdy robot inaczej interpretuje składnię

    Pomimo tego, że znane roboty indeksujące stosują się do poleceń zawartych w pliku robots.txt, każdy z nich może rozumieć je inaczej. Aby przekazać instrukcje różnym robotom, musisz użyć odpowiedniej składni, bo część z nich może nie rozpoznawać pewnych poleceń.
  • Polecenia w pliku robots.txt nie zapobiegają przekierowaniom z innych witryn

    Google nie indeksuje zawartości blokowanej przez plik robots.txt, jednak w dalszym ciągu możemy zindeksować niedozwolony adres URL znaleziony w innym miejscu sieci. W efekcie adresy te, a potencjalnie również inne upublicznione informacje, na przykład tekst kotwicy w linkach do witryny, pojawią się w wynikach wyszukiwania Google. Za pomocą innych metod blokowania dostępu do adresu URL, takich jak zabezpieczanie hasłem plików umieszczanych na serwerze czy używanie metatagu lub nagłówka odpowiedzi noindex, możesz całkowicie wykluczyć Twój adres URL z wyników wyszukiwania Google.
Uwaga: łączenie kilku poleceń z zakresu indeksowania może spowodować, że będą się one wzajemnie wykluczały. Dowiedz się, jak poprawnie skonfigurować te polecenia w sekcji na temat łączenia poleceń sterujących indeksowaniem i wyświetlaniem treści w dokumentacji Google Developers.
Czy ten artykuł był pomocny?
Jak możemy ją poprawić?