Raport dotyczący pliku robots.txt zawiera informacje o tym, które pliki robots.txt zostały znalezione przez Google w przypadku 20 głównych hostów w Twojej witrynie, kiedy ostatnio były one indeksowane, oraz czy napotkano jakiekolwiek ostrzeżenia lub błędy. W sytuacjach alarmowych w ramach tego raportu możesz też poprosić o ponowne zindeksowanie pliku robots.txt.
Ten raport jest dostępny tylko w przypadku usług na poziomie domeny, czyli:
- usługi domeny (np. example.com lub m.example.com) lub
- usługi mającej URL z przedrostkiem bez ścieżki, np. https://example.com/, ale nie https://example.com/path/.
Otwórz raport dotyczący pliku robots.txt
Jak sprawdzić pliki robots.txt i stan indeksowania
Raport zawiera pliki robots.txt z 20 głównych hostów usługi domeny.
W przypadku każdego pliku robots.txt sprawdzonego przez Search Console zobaczysz te informacje:
- Ścieżka pliku – pełny adres URL strony, którą robot Google sprawdził pod kątem obecności pliku robots.txt. Adres URL będzie widoczny w raporcie tylko wtedy, gdy w ciągu ostatnich 30 dni miał stan Pobrano lub Nie pobrano. Patrz: Lokalizacja plików robots.txt.
- Stan pobierania – stan ostatniego żądania pobrania danego pliku. Oto możliwe wartości:
- Nie pobrano – nie znaleziono (404) – podczas wysyłania żądania dotyczącego tego pliku wystąpił błąd 404 (plik nie istnieje). Jeśli po opublikowaniu pliku robots.txt pod wymienionym adresem URL pojawia się ten błąd, sprawdź URL pod kątem problemów z dostępnością. Plik, który przez 30 dni ma stan Nie znaleziono (404), nie będzie już widoczny w raporcie (chociaż Google będzie nadal sprawdzać go w tle). Brak pliku robots.txt jest prawidłowy. Oznacza to, że Google może zindeksować wszystkie adresy URL w Twojej witrynie. Aby dowiedzieć się więcej, zapoznaj się z działaniami Google w razie błędu dotyczącego pliku robots.txt.
- Nie pobrano – dowolny inny powód – podczas wysyłania żądania dotyczącego tego pliku wystąpił inny problem. Sprawdź listę problemów z indeksowaniem.
- Pobrano – ostatnia wizyta robota zakończyła się zwróceniem pliku robots.txt. Wszelkie problemy znalezione podczas analizowania pliku pojawią się w kolumnie Problemy. Robot Google ignoruje wiersze z problemami i wykorzystuje te, które jest w stanie przeanalizować.
- Sprawdzono – czas ostatniej próby zindeksowania tego adresu URL przez Google (według czasu lokalnego).
- Rozmiar – rozmiar pobranego pliku (w bajtach). Jeśli ostatnia próba pobrania się nie udała, to pole będzie puste.
- Problemy – tabela, która zawiera liczbę problemów z analizowaniem zawartości pliku napotkanych podczas ostatniego pobierania. Błędy uniemożliwiają użycie reguły. Ostrzeżenia – nie. Zapoznaj się z działaniami Google w razie błędu dotyczącego pliku robots.txt. Aby rozwiązać problemy z analizowaniem, użyj walidatora pliku robots.txt.
Jak wyświetlić ostatnio pobraną wersję
Aby zobaczyć ostatnią pobraną wersję pliku robots.txt, kliknij ją na liście plików w raporcie. Jeśli plik robots.txt zawiera błędy lub ostrzeżenia, zostaną one wyróżnione w wyświetlonej zawartości pliku. Możesz przełączać się między błędami i ostrzeżeniami za pomocą klawiszy strzałek.
Jak wyświetlić wcześniej pobrane wersje
Aby wyświetlić żądania pobrania danego pliku robots.txt z ostatnich 30 dni, kliknij ten plik na liście plików w raporcie, a potem wybierz Wersje. Aby zobaczyć zawartość pliku w danej wersji, kliknij ją. Żądanie jest uwzględniane w historii tylko wtedy, gdy pobrany plik lub wynik pobierania różni się od poprzedniego żądania pobrania pliku.
Prośba o ponowne zindeksowanie
Po naprawieniu błędu lub wprowadzeniu ważnej zmiany możesz poprosić o ponowne zindeksowanie pliku robots.txt.
Kiedy poprosić o ponowne zindeksowanie
Zwykle nie musisz prosić o ponowne zindeksowanie pliku robots.txt, ponieważ robot Google często robi to sam. Możesz jednak poprosić o to, jeśli:
- reguły w pliku robots.txt zostały zmienione, aby odblokować kilka ważnych adresów URL, i chcesz szybko poinformować o tym Google (pamiętaj, że nie gwarantuje to natychmiastowego ponownego zindeksowania odblokowanych adresów URL);
- usunięto błąd pobierania lub inny błąd krytyczny.
Jak poprosić o ponowne zindeksowanie
Aby poprosić o ponowne zindeksowanie, wybierz ikonę Więcej ustawień 
Witryny w usługach hostingu witryn
Jeśli Twoja witryna jest hostowana w usłudze hostingu witryn, edycja pliku robots.txt może nie być łatwa. W takim przypadku zapoznaj się z dokumentacją hosta Twojej witryny, aby dowiedzieć się, jak blokować skanowanie lub indeksowanie określonych stron przez Google.
Lokalizacja plików robots.txt
Terminologia:
- Protokół (inaczej scheme) to HTTP lub HTTPS.
- Host to wszystko, co znajduje się w adresie URL po protokole (http:// lub https://) aż do ścieżki. Host m.de.example.com zakłada więc 3 możliwe hosty: m.de.example.com, de.example.com i example.com – każdy z nich może mieć własny plik robots.txt.
- Pochodzenie (origin) to protokół i host, np. https://example.com/ lub https://m.example.co.es/.
Zgodnie z dokumentem RFC 9309 plik robots.txt musi znajdować się w katalogu głównym każdej kombinacji protokołu i hosta w Twojej witrynie.
- Search Console wybiera 20 głównych hostów, posortowanych według szybkości indeksowania. Dla każdej domeny raport może pokazywać do 2 pochodzeń, co oznacza, że tabela może zawierać do 40 wierszy. Jeśli nie możesz znaleźć adresu URL pliku robots.txt w przypadku jednego z hostów, utwórz usługę domeny na rzecz brakującej subdomeny.
- W przypadku każdego hosta Search Console sprawdza 2 adresy URL:
- http://<host>/robots.txt
- https://<host>/robots.txt
- Jeśli plik robots.txt pod żądanym adresem URL ma stan Nie znaleziono przez 30 dni, Search Console nie będzie uwzględniać tego adresu URL w tym raporcie (chociaż Google nadal będzie go sprawdzać w tle). W przypadku każdego innego wyniku raport przedstawia sprawdzony adres URL.
W przypadku usługi mającej URL z przedrostkiem na poziomie hosta (np. https://example.com/) Search Console sprawdza tylko 1 pochodzenie tej usługi. Oznacza to, że w usłudze https://example.com Search Console sprawdza tylko https://example.com/robots.txt, a nie http://example.com/robots.txt ani https://m.example.com/robots.txt.
Częste zadania
Wyświetlanie pliku robots.txt
Aby otworzyć plik robots.txt wymieniony w raporcie, kliknij go na liście plików robots.txt. Aby otworzyć plik w przeglądarce, kliknij Otwórz aktywny plik robots.txt.
Możesz otworzyć w przeglądarce dowolny plik robots.txt z internetu. Poniżej znajdziesz informacje o tym, który adres URL otworzyć.
Gdzie znajdują się pliki robots.txt
Plik robots.txt znajduje się w katalogu głównym protokołu i domeny. Aby określić adres URL, usuń z adresu pliku wszystko, co znajduje się za nazwą hosta (i opcjonalnym portem), a potem dodaj „/robots.txt”. Plik robots.txt możesz otworzyć w przeglądarce (jeśli jest dostępny). Pliki robots.txt nie są dziedziczone przez subdomeny ani domeny nadrzędne, a na daną stronę może mieć wpływ tylko jeden plik robots.txt. Oto kilka przykładów:
| Adres URL pliku | Adres URL pliku robots.txt, który może mieć wpływ na ten plik |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
Sprawdzanie, który plik robots.txt wpływa na stronę lub obraz
Aby znaleźć adres URL pliku robots.txt, który ma wpływ na stronę lub obraz:
- Znajdź dokładny adres URL strony lub obrazu. Jeśli chcesz dodać obraz, w przeglądarce Google Chrome kliknij prawym przyciskiem i wybierz Kopiuj URL grafiki.
- Usuń końcówkę adresu URL po domenie najwyższego poziomu (np. .com, .org, .co.il) i dodaj na końcu /robots.txt. Plik robots.txt w przypadku strony https://images.example.com/flowers/daffodil.png to https://images.example.com/robots.txt.
- Otwórz adres URL w przeglądarce, aby sprawdzić, czy istnieje. Jeśli przeglądarka nie może otworzyć pliku, oznacza to, że go nie ma.
Sprawdzanie, czy plik robots.txt blokuje dostęp Google
- Jeśli chcesz sprawdzić, czy dany adres URL jest blokowany przez plik robots.txt, możesz przetestować dostępność danego adresu URL za pomocą narzędzia do sprawdzania adresów URL.
- Jeśli jesteś programistą, sprawdź naszą bibliotekę Google typu open source z zasobami dotyczącymi pliku robots.txt, która jest też używana w wyszukiwarce Google. Możesz też dodać do niej kolejne zasoby. Za pomocą tego narzędzia możesz lokalnie testować pliki robots.txt na komputerze.
Więcej informacji
- Co to jest plik robots.txt i do czego służy
- Jak wdrożyć plik robots.txt
