Raport dotyczący pliku robots.txt zawiera informacje o tym, które pliki robots.txt zostały znalezione przez Google w przypadku 20 głównych hostów w Twojej witrynie, kiedy ostatnio były one indeksowane, oraz czy napotkano jakiekolwiek ostrzeżenia lub błędy. W sytuacjach alarmowych w ramach tego raportu możesz też poprosić o ponowne zindeksowanie pliku robots.txt.
Ten raport jest dostępny tylko w przypadku usług na poziomie domeny, czyli:
- usługi domeny (np. example.com lub m.example.com) lub
- usługi z prefiksem URL bez ścieżki, np. https://example.com/, ale nie https://example.com/path/.
Otwórz raport dotyczący pliku robots.txt
Jak sprawdzić pliki robots.txt i stan indeksowania
Raport zawiera pliki robots.txt z 20 głównych hostów usługi domeny.
W przypadku każdego pliku robots.txt sprawdzonego przez Search Console zobaczysz te informacje:
- Ścieżka pliku – pełny adres URL strony, którą robot Google sprawdził pod kątem obecności pliku robots.txt. Adres URL będzie widoczny w raporcie tylko wtedy, gdy w ciągu ostatnich 30 dni miał stan Pobrano lub Nie pobrano. Patrz: Lokalizacja plików robots.txt.
- Stan pobierania – stan ostatniego żądania pobrania danego pliku. Oto możliwe wartości:
- Nie pobrano – nie znaleziono (404) – podczas wysyłania żądania dotyczącego tego pliku wystąpił błąd 404 (plik nie istnieje). Jeśli po opublikowaniu pliku robots.txt pod wymienionym adresem URL pojawia się ten błąd, sprawdź URL pod kątem problemów z dostępnością. Plik, który przez 30 dni ma stan Nie znaleziono (404), nie będzie już widoczny w raporcie (chociaż Google będzie nadal sprawdzać go w tle). Brak błędów w pliku robots.txt jest prawidłowy. Oznacza to, że Google może zindeksować wszystkie adresy URL w Twojej witrynie. Aby dowiedzieć się więcej, zapoznaj się z działaniami Google w razie błędu w pliku robots.txt.
- Nie pobrano – dowolny inny powód – podczas wysyłania żądania dotyczącego tego pliku wystąpił inny problem. Sprawdź listę problemów z indeksowaniem.
- Pobrano – ostatnia wizyta robota zakończyła się zwróceniem pliku robots.txt. Wszelkie problemy znalezione podczas analizowania pliku pojawią się w kolumnie Problemy. Robot Google ignoruje wiersze z problemami i wykorzystuje te, które jest w stanie przeanalizować.
- Sprawdzono – czas ostatniej próby zindeksowania tego adresu URL przez Google (według czasu lokalnego).
- Rozmiar – rozmiar pobranego pliku (w bajtach). Jeśli ostatnia próba pobrania się nie udała, to pole będzie puste.
- Problemy – tabela, która zawiera liczbę problemów z analizowaniem zawartości pliku napotkanych podczas ostatniego pobierania. Błędy uniemożliwiają użycie reguły. Ostrzeżenia – nie. Zapoznaj się z działaniami Google w razie błędu w pliku robots.txt. Aby rozwiązać problemy z analizowaniem, użyj walidatora pliku robots.txt.
Jak wyświetlić ostatnio pobraną wersję
Aby zobaczyć ostatnią pobraną wersję pliku robots.txt, kliknij ją na liście plików w raporcie. Jeśli plik robots.txt zawiera błędy lub ostrzeżenia, zostaną one wyróżnione w wyświetlonej zawartości pliku. Możesz przełączać się między błędami i ostrzeżeniami za pomocą klawiszy strzałek.
Jak wyświetlić wcześniej pobrane wersje
Aby wyświetlić żądania pobrania danego pliku robots.txt z ostatnich 30 dni, kliknij ten plik na liście plików w raporcie, a potem wybierz Wersje. Aby zobaczyć zawartość pliku w danej wersji, kliknij ją. Żądanie jest uwzględniane w historii tylko wtedy, gdy pobrany plik lub wynik pobierania różni się od poprzedniego żądania pobrania pliku.
Jeśli podczas próby pobierania robot Google napotkał błąd, będzie używać ostatniej pobranej wersji bez błędów przez maksymalnie 30 dni.
Jak poprosić o ponowne zindeksowanie
Po naprawieniu błędu lub wprowadzeniu ważnej zmiany możesz poprosić o ponowne zindeksowanie pliku robots.txt.
Kiedy poprosić o ponowne zindeksowanie
Zwykle nie musisz prosić o ponowne zindeksowanie pliku robots.txt, ponieważ robot Google często robi to sam. Możesz jednak poprosić o to, jeśli:
- reguły w pliku robots.txt zostały zmienione, aby odblokować kilka ważnych adresów URL, i chcesz szybko poinformować o tym Google (pamiętaj, że nie gwarantuje to natychmiastowego ponownego zindeksowania odblokowanych adresów URL);
- usunięto błąd pobierania lub inny błąd krytyczny.
Jak poprosić o ponowne zindeksowanie
Aby poprosić o ponowne zindeksowanie, wybierz ikonę Więcej ustawień 
Witryny w usługach hostingu witryn
Jeśli Twoja witryna jest hostowana w usłudze hostingu witryn, edycja pliku robots.txt może nie być łatwa. W takim przypadku zapoznaj się z dokumentacją hosta Twojej witryny, aby dowiedzieć się, jak blokować skanowanie lub indeksowanie określonych stron przez Google. (Większość użytkowników chce zapobiec wyświetlaniu plików w wyszukiwarce Google, a nie uniemożliwiać ich indeksowanie przez robota Google. Jeśli tak jest też w Twoim przypadku, poszukaj w swojej usłudze hostingu informacji o blokowaniu stron dla wyszukiwarek).
Co się dzieje, gdy Google nie może pobrać ani odczytać pliku robots.txt
Jeśli robot Google nie znajdzie pliku robots.txt w przypadku domeny lub subdomeny, zakłada, że może zindeksować dowolny adres URL w ramach tego hosta.
Jeśli robot Google znajdzie plik robots.txt, ale nie może go pobrać, postępuje tak:
- Przez pierwsze 12 godzin Google przestaje indeksować witrynę, ale wciąż próbuje pobrać plik robots.txt.
- Jeśli Google nie może pobrać nowej wersji, przez kolejne 30 dni będzie używać ostatniej prawidłowej wersji, nadal próbując pobrać nową. Ostatnią prawidłową wersję znajdziesz w historii wersji.
- Jeśli po 30 dniach błędy nadal nie zostaną usunięte:
- Jeśli witryna jest ogólnie dostępna dla Google, robot Google zachowuje się tak, jakby nie było pliku robots.txt (ale nadal sprawdza dostępność nowej wersji).
- W przypadku problemów z ogólną dostępnością witryny Google przestanie ją indeksować, ale nadal od czasu do czasu będzie przesyłać żądania pobrania pliku robots.txt.
Jeśli Google znajdzie plik robots.txt i może go pobrać: odczytuje plik wiersz po wierszu. Jeśli wiersz zawiera błąd lub nie można go przeanalizować jako reguły w pliku robots.txt, zostanie on pominięty. Jeśli plik nie zawiera prawidłowych wierszy, Google traktuje go jako pusty plik robots.txt, co oznacza, że dla witryny nie są zadeklarowane żadne reguły.
Lokalizacja plików robots.txt
Terminologia:
- Protokół (inaczej scheme) to HTTP lub HTTPS.
- Host to wszystko, co znajduje się w adresie URL po protokole (http:// lub https://) aż do ścieżki. Host m.de.example.com zakłada więc 3 możliwe hosty: m.de.example.com, de.example.com i example.com – każdy z nich może mieć własny plik robots.txt.
- Pochodzenie (origin) to protokół i host, np. https://example.com/ lub https://m.example.co.es/.
Zgodnie z dokumentem RFC 9309 plik robots.txt musi znajdować się w katalogu głównym każdej kombinacji protokołu i hosta w Twojej witrynie.
- Search Console wybiera 20 głównych hostów, posortowanych według szybkości indeksowania. Dla każdej domeny raport może pokazywać do 2 pochodzeń, co oznacza, że tabela może zawierać do 40 wierszy. Jeśli nie możesz znaleźć adresu URL pliku robots.txt w przypadku jednego z hostów, utwórz usługę domeny na rzecz brakującej subdomeny.
- W przypadku każdego hosta Search Console sprawdza 2 adresy URL:
- http://<host>/robots.txt
- https://<host>/robots.txt
- Jeśli plik robots.txt pod żądanym adresem URL ma stan Nie znaleziono przez 30 dni, Search Console nie będzie uwzględniać tego adresu URL w tym raporcie (chociaż Google nadal będzie go sprawdzać w tle). W przypadku każdego innego wyniku raport przedstawia sprawdzony adres URL.
W przypadku usługi z prefiksem URL na poziomie hosta (np. https://example.com/) Search Console sprawdza tylko 1 pochodzenie tej usługi. Oznacza to, że w usłudze https://example.com Search Console sprawdza tylko https://example.com/robots.txt, a nie http://example.com/robots.txt ani https://m.example.com/robots.txt.
Częste zadania
Wyświetlanie pliku robots.txt
Aby otworzyć plik robots.txt wymieniony w raporcie, kliknij go na liście plików robots.txt. Aby otworzyć plik w przeglądarce, kliknij Otwórz aktywny plik robots.txt.
Możesz otworzyć w przeglądarce dowolny plik robots.txt z internetu. Poniżej znajdziesz informacje o tym, który adres URL otworzyć.
Gdzie znajdują się pliki robots.txt
Plik robots.txt znajduje się w katalogu głównym protokołu i domeny. Aby określić adres URL, usuń z adresu pliku wszystko, co znajduje się za nazwą hosta (i opcjonalnym portem), a potem dodaj „/robots.txt”. Plik robots.txt możesz otworzyć w przeglądarce (jeśli jest dostępny). Pliki robots.txt nie są dziedziczone przez subdomeny ani domeny nadrzędne, a na daną stronę może mieć wpływ tylko jeden plik robots.txt. Oto kilka przykładów:
| Adres URL pliku | Adres URL pliku robots.txt, który może mieć wpływ na ten plik |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
Sprawdzanie, który plik robots.txt wpływa na stronę lub obraz
Aby znaleźć adres URL pliku robots.txt, który ma wpływ na stronę lub obraz:
- Znajdź dokładny adres URL strony lub obrazu. Jeśli chcesz dodać obraz, w przeglądarce Google Chrome kliknij prawym przyciskiem i wybierz Kopiuj URL grafiki.
- Usuń końcówkę adresu URL po domenie najwyższego poziomu (np. .com, .org, .co.il) i dodaj na końcu /robots.txt. Plik robots.txt w przypadku strony https://images.example.com/flowers/daffodil.png to https://images.example.com/robots.txt.
- Otwórz adres URL w przeglądarce, aby sprawdzić, czy istnieje. Jeśli przeglądarka nie może otworzyć pliku, oznacza to, że go nie ma.
Sprawdzanie, czy plik robots.txt blokuje dostęp Google
- Jeśli chcesz sprawdzić, czy dany adres URL jest blokowany przez plik robots.txt, możesz przetestować dostępność danego adresu URL za pomocą narzędzia do sprawdzania adresów URL.
- Jeśli chcesz porównać konkretną regułę w pliku robots.txt z plikiem, który nie jest jeszcze dostępny w internecie, lub przetestować nową regułę, możesz użyć testera pliku robots.txt innej firmy.
Więcej informacji
- Co to jest plik robots.txt i do czego służy
- Jak wdrożyć plik robots.txt