Roboty Google

Jakie roboty Google indeksują internet

„Robot” to ogólne określenie dowolnego programu służącego do automatycznego odnajdywania i analizowania witryn poprzez podążanie za linkami z jednej strony internetowej do innej. Główny robot indeksujący Google nazywa się Googlebot. Ta tabela zawiera informacje o najpopularniejszych robotach Google, które możesz zobaczyć w dziennikach strony odsyłającej. Oprócz tego opisujemy w niej sposoby określania tych robotów w pliku robots.txt, metatagach robots i instrukcjach HTTP X-Robots-Tag.

W tej tabeli token klienta użytkownika jest używany w wierszu User-agent: w pliku robots.txt, aby reprezentować określonego robota. Niektóre roboty – jak pokazujemy w tabeli – odpowiadają więcej niż jednemu tokenowi. Wystarczy, że użyjesz tylko jednego pasującego tokena dla każdego robota.

Robot Tokeny klientów użytkownika (używane w pliku robots.txt) Pełny ciąg znaków klienta użytkownika (w formie stosowanej w plikach dziennika witryny)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google

AdsBot Mobile Web Android

(Sprawdza jakość reklam na stronie internetowej na urządzeniu mobilnym z Androidem).

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Sprawdza jakość reklam na stronie internetowej na iPhonie).

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Sprawdza jakość reklam na stronie internetowej na komputerze).

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot

(Komputer)

  • Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

lub (rzadko używany):

Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(Smartfon)

  • Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense
  • Mediapartners-Google
(różne typy urządzeń mobilnych) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Sprawdza jakość reklam na stronie aplikacji na Androida. Działa zgodnie z regułami dotyczącymi robota AdsBot-Google).

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

Klienty użytkownika w pliku robots.txt

W przypadku rozpoznania w pliku robots.txt kilku klientów użytkownika używany będzie najmniej ogólny z nich. Jeśli wszystkie roboty Google mają mieć dostęp do Twoich stron, plik robots.txt nie jest w ogóle potrzebny. Jeśli chcesz zablokować lub dopuścić dostęp wszystkich robotów Google do określonej zawartości, możesz to zrobić poprzez podanie klienta użytkownika Googlebot. Jeśli na przykład chcesz, aby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google oraz aby były na nich wyświetlane reklamy AdSense, plik robots.txt nie jest potrzebny. Natomiast jeśli chcesz całkowicie zablokować dostęp robotów Google do niektórych stron, zablokowanie klienta użytkownika Googlebot spowoduje również zablokowanie wszystkich innych klientów użytkownika Google.

Jeśli chcesz mieć bardziej precyzyjną kontrolę, możesz skorzystać z bardziej szczegółowych ustawień. Weźmy na przykład sytuację, gdy chcesz, by wszystkie Twoje strony były wyświetlane w wyszukiwarce Google, ale nie chcesz indeksowania zdjęć znajdujących się w Twoim katalogu prywatnym. W takim przypadku skorzystaj z pliku robots.txt, aby zabronić klientowi użytkownika Googlebot-Image indeksowania plików w katalogu /prywatny, jednocześnie zezwalając klientowi Googlebot na indeksowanie wszystkich plików:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /prywatny
Zobaczmy inny przykład. Załóżmy, że chcesz wyświetlać reklamy na wszystkich swoich stronach, ale nie chcesz, by te strony pojawiały się w wyszukiwarce Google. W takiej sytuacji zablokuj klienta Googlebot, ale dopuść klienta Mediapartners-Google:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Klienty użytkownika w metatagu robots

Na niektórych stronach używanych jest wiele metatagów robots, określających dyrektywy dla różnych robotów, na przykład:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

W takich przypadkach roboty Google będą przestrzegać wszystkich podanych dyrektyw wykluczających, a Googlebot będzie przestrzegać zarówno dyrektywy noindex, jak i nofollow. Więcej informacji o tym, jak kontrolować sposób indeksowania stron przez Google

Czy ten artykuł był pomocny?
Jak możemy ją poprawić?