Raport dotyczący pliku robots.txt zawiera informacje o tym, które pliki robots.txt zostały znalezione przez Google w przypadku 20 głównych hostów w Twojej witrynie, kiedy ostatnio były one indeksowane, oraz czy napotkano jakiekolwiek ostrzeżenia lub błędy. W sytuacjach alarmowych w ramach tego raportu możesz też poprosić o ponowne zindeksowanie pliku robots.txt.
Ten raport jest dostępny tylko w przypadku usług na poziomie domeny, czyli:
- usługi domeny (np. example.com lub m.example.com) lub
- usługi z prefiksem URL bez ścieżki, np. https://example.com/, ale nie https://example.com/path/.
Otwórz raport dotyczący pliku robots.txt
Jak sprawdzić pliki robots.txt i stan indeksowania
Raport zawiera pliki robots.txt z 20 głównych hostów usługi domeny.
W przypadku każdego pliku robots.txt sprawdzonego przez Search Console zobaczysz te informacje:
- Ścieżka pliku – pełny adres URL strony, którą robot Google sprawdził pod kątem obecności pliku robots.txt. Adres URL będzie widoczny w raporcie tylko wtedy, gdy w ciągu ostatnich 30 dni miał stan Pobrano lub Nie pobrano. Patrz: Lokalizacja plików robots.txt.
- Stan pobierania – stan ostatniego żądania pobrania danego pliku. Oto możliwe wartości:
- Nie pobrano – nie znaleziono (404) – podczas wysyłania żądania dotyczącego tego pliku wystąpił błąd 404 (plik nie istnieje). Jeśli po opublikowaniu pliku robots.txt pod wymienionym adresem URL pojawia się ten błąd, sprawdź URL pod kątem problemów z dostępnością. Plik, który przez 30 dni ma stan Nie znaleziono (404), nie będzie już widoczny w raporcie (chociaż Google będzie nadal sprawdzać go w tle). Brak pliku robots.txt jest prawidłowy. Oznacza to, że Google może zindeksować wszystkie adresy URL w Twojej witrynie. Aby dowiedzieć się więcej, zapoznaj się z działaniami Google w razie błędu dotyczącego pliku robots.txt.
- Nie pobrano – dowolny inny powód – podczas wysyłania żądania dotyczącego tego pliku wystąpił inny problem. Sprawdź listę problemów z indeksowaniem.
- Pobrano – ostatnia wizyta robota zakończyła się zwróceniem pliku robots.txt. Wszelkie problemy znalezione podczas analizowania pliku pojawią się w kolumnie Problemy. Robot Google ignoruje wiersze z problemami i wykorzystuje te, które jest w stanie przeanalizować.
- Sprawdzono – czas ostatniej próby zindeksowania tego adresu URL przez Google (według czasu lokalnego).
- Rozmiar – rozmiar pobranego pliku (w bajtach). Jeśli ostatnia próba pobrania się nie udała, to pole będzie puste.
- Problemy – tabela, która zawiera liczbę problemów z analizowaniem zawartości pliku napotkanych podczas ostatniego pobierania. Błędy uniemożliwiają użycie reguły. Ostrzeżenia – nie. Zapoznaj się z działaniami Google w razie błędu dotyczącego pliku robots.txt. Aby rozwiązać problemy z analizowaniem, użyj walidatora pliku robots.txt.
Jak wyświetlić ostatnio pobraną wersję
Aby zobaczyć ostatnią pobraną wersję pliku robots.txt, kliknij ją na liście plików w raporcie. Jeśli plik robots.txt zawiera błędy lub ostrzeżenia, zostaną one wyróżnione w wyświetlonej zawartości pliku. Możesz przełączać się między błędami i ostrzeżeniami za pomocą klawiszy strzałek.
Jak wyświetlić wcześniej pobrane wersje
Aby wyświetlić żądania pobrania danego pliku robots.txt z ostatnich 30 dni, kliknij ten plik na liście plików w raporcie, a potem wybierz Wersje. Aby zobaczyć zawartość pliku w danej wersji, kliknij ją. Żądanie jest uwzględniane w historii tylko wtedy, gdy pobrany plik lub wynik pobierania różni się od poprzedniego żądania pobrania pliku.
Jeśli podczas próby pobierania robot Google napotkał błąd, będzie używać ostatniej pobranej wersji bez błędów przez maksymalnie 30 dni.
Jak poprosić o ponowne zindeksowanie
Po naprawieniu błędu lub wprowadzeniu ważnej zmiany możesz poprosić o ponowne zindeksowanie pliku robots.txt.
Kiedy poprosić o ponowne zindeksowanie
Zwykle nie musisz prosić o ponowne zindeksowanie pliku robots.txt, ponieważ robot Google często robi to sam. Możesz jednak poprosić o to, jeśli:
- reguły w pliku robots.txt zostały zmienione, aby odblokować kilka ważnych adresów URL, i chcesz szybko poinformować o tym Google (pamiętaj, że nie gwarantuje to natychmiastowego ponownego zindeksowania odblokowanych adresów URL);
- usunięto błąd pobierania lub inny błąd krytyczny.
Jak poprosić o ponowne zindeksowanie
Aby poprosić o ponowne zindeksowanie, wybierz ikonę Więcej ustawień 
Witryny w usługach hostingu witryn
Jeśli Twoja witryna jest hostowana w usłudze hostingu witryn, edycja pliku robots.txt może nie być łatwa. W takim przypadku zapoznaj się z dokumentacją hosta Twojej witryny, aby dowiedzieć się, jak blokować skanowanie lub indeksowanie określonych stron przez Google.
Lokalizacja plików robots.txt
Terminologia:
- Protokół (inaczej scheme) to HTTP lub HTTPS.
- Host to wszystko, co znajduje się w adresie URL po protokole (http:// lub https://) aż do ścieżki. Host m.de.example.com zakłada więc 3 możliwe hosty: m.de.example.com, de.example.com i example.com – każdy z nich może mieć własny plik robots.txt.
- Pochodzenie (origin) to protokół i host, np. https://example.com/ lub https://m.example.co.es/.
Zgodnie z dokumentem RFC 9309 plik robots.txt musi znajdować się w katalogu głównym każdej kombinacji protokołu i hosta w Twojej witrynie.
- Search Console wybiera 20 głównych hostów, posortowanych według szybkości indeksowania. Dla każdej domeny raport może pokazywać do 2 pochodzeń, co oznacza, że tabela może zawierać do 40 wierszy. Jeśli nie możesz znaleźć adresu URL pliku robots.txt w przypadku jednego z hostów, utwórz usługę domeny na rzecz brakującej subdomeny.
- W przypadku każdego hosta Search Console sprawdza 2 adresy URL:
- http://<host>/robots.txt
- https://<host>/robots.txt
- Jeśli plik robots.txt pod żądanym adresem URL ma stan Nie znaleziono przez 30 dni, Search Console nie będzie uwzględniać tego adresu URL w tym raporcie (chociaż Google nadal będzie go sprawdzać w tle). W przypadku każdego innego wyniku raport przedstawia sprawdzony adres URL.
W przypadku usługi z prefiksem URL na poziomie hosta (np. https://example.com/) Search Console sprawdza tylko 1 pochodzenie tej usługi. Oznacza to, że w usłudze https://example.com Search Console sprawdza tylko https://example.com/robots.txt, a nie http://example.com/robots.txt ani https://m.example.com/robots.txt.
Częste zadania
Wyświetlanie pliku robots.txt
Aby otworzyć plik robots.txt wymieniony w raporcie, kliknij go na liście plików robots.txt. Aby otworzyć plik w przeglądarce, kliknij Otwórz aktywny plik robots.txt.
Możesz otworzyć w przeglądarce dowolny plik robots.txt z internetu. Poniżej znajdziesz informacje o tym, który adres URL otworzyć.
Gdzie znajdują się pliki robots.txt
Plik robots.txt znajduje się w katalogu głównym protokołu i domeny. Aby określić adres URL, usuń z adresu pliku wszystko, co znajduje się za nazwą hosta (i opcjonalnym portem), a potem dodaj „/robots.txt”. Plik robots.txt możesz otworzyć w przeglądarce (jeśli jest dostępny). Pliki robots.txt nie są dziedziczone przez subdomeny ani domeny nadrzędne, a na daną stronę może mieć wpływ tylko jeden plik robots.txt. Oto kilka przykładów:
| Adres URL pliku | Adres URL pliku robots.txt, który może mieć wpływ na ten plik |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
Sprawdzanie, który plik robots.txt wpływa na stronę lub obraz
Aby znaleźć adres URL pliku robots.txt, który ma wpływ na stronę lub obraz:
- Znajdź dokładny adres URL strony lub obrazu. Jeśli chcesz dodać obraz, w przeglądarce Google Chrome kliknij prawym przyciskiem i wybierz Kopiuj URL grafiki.
- Usuń końcówkę adresu URL po domenie najwyższego poziomu (np. .com, .org, .co.il) i dodaj na końcu /robots.txt. Plik robots.txt w przypadku strony https://images.example.com/flowers/daffodil.png to https://images.example.com/robots.txt.
- Otwórz adres URL w przeglądarce, aby sprawdzić, czy istnieje. Jeśli przeglądarka nie może otworzyć pliku, oznacza to, że go nie ma.
Sprawdzanie, czy plik robots.txt blokuje dostęp Google
- Jeśli chcesz sprawdzić, czy dany adres URL jest blokowany przez plik robots.txt, możesz przetestować dostępność danego adresu URL za pomocą narzędzia do sprawdzania adresów URL.
- Jeśli jesteś programistą, sprawdź naszą bibliotekę Google typu open source z zasobami dotyczącymi pliku robots.txt, która jest też używana w wyszukiwarce Google. Możesz też dodać do niej kolejne zasoby. Za pomocą tego narzędzia możesz lokalnie testować pliki robots.txt na komputerze.
Więcej informacji
- Co to jest plik robots.txt i do czego służy
- Jak wdrożyć plik robots.txt
