Thông tin tổng quan về trình thu thập dữ liệu của Google (tác nhân người dùng)

Xem Google sử dụng robot nào để thu thập dữ liệu web

"Trình thu thập dữ liệu" là một từ nói chung chỉ bất kỳ chương trình nào (chẳng hạn như robot) dùng để tự động phát hiện và quét các trang web bằng cách theo các đường liên kết từ một trang web đến một trang web khác. Trình thu thập dữ liệu chính của Google có tên là Googlebot. Bảng này liệt kê thông tin về các trình thu thập dữ liệu thông thường của Google mà bạn có thể thấy trong nhật ký liên kết giới thiệu và cách xác định các trình đó trong robots.txt, thẻ meta robots và lệnh HTTP X-Robots-Tag.

Bảng sau đây liệt kê các trình thu thập dữ liệu mà các sản phẩm và dịch vụ khác nhau của Google sử dụng:

  • Mã tác nhân người dùng ở dòng User-agent: trong tệp robots.txt sẽ chỉ định loại trình thu thập dữ liệu khi viết quy tắc thu thập dữ liệu cho trang web của bạn. Một số trình thu thập dữ liệu có nhiều mã, như trình bày trong bảng. Bạn chỉ được sử dụng một mã trình thu thập dữ liệu duy nhất cho một quy tắc để quy tắc đó có hiệu lực. Danh sách này không đầy đủ, nhưng bao gồm hầu hết các trình thu thập dữ liệu bạn có thể thấy trên trang web của mình.
  • Chuỗi tác nhân người dùng đầy đủ là phần mô tả đầy đủ về trình thu thập dữ liệu và xuất hiện trong yêu cầu và nhật ký web của bạn.
Các giá trị này có thể bị giả mạo. Nếu cần xác minh rằng khách truy cập là Googlebot, bạn nên sử dụng quy trình tra cứu DNS ngược.
Trình thu thập dữ liệu Mã tác nhân người dùng (mã sản phẩm) Chuỗi tác nhân người dùng đầy đủ
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(Kiểm tra chất lượng quảng cáo trong trang web trên Android)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, như Gecko) Chrome Mobile Safari (tương thích; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Kiểm tra chất lượng quảng cáo trong trang web trên iPhone)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 như Mac OS X) AppleWebKit/601.1.46 (KHTML, như Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (tương thích; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Kiểm tra chất lượng quảng cáo trong trang web dành cho máy tính)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (Máy tính)

Googlebot

  • Mozilla/5.0 (tương thích; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, như Gecko; tương thích; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    hoặc (hiếm khi sử dụng):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (Điện thoại thông minh)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, như Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (tương thích; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(Nhiều loại thiết bị di động) (tương thích; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(Kiểm tra chất lượng quảng cáo trong trang trên ứng dụng Android. Tuân theo quy tắc của robot AdsBot-Google.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

Không tuân theo quy tắc robots.txt – tìm hiểu nguyên nhân

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

Không tuân theo quy tắc robots.txttìm hiểu nguyên nhân

  • Tác nhân hiện tại:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, như Gecko) Chrome/41.0.2272.118 Safari/537.36 (tương thích; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Tác nhân cũ (đã ngừng hoạt động):
    google-speakr
Duplex on the Web

DuplexWeb-Google

Có thể bỏ qua ký tự đại diện * cho tác nhân người dùng – tìm hiểu nguyên nhân

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, như Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google Favicon

(Truy xuất biểu tượng trang web cho nhiều dịch vụ)

Google Favicon

Đối với các yêu cầu do người dùng đưa ra, trình thu thập dữ liệu này sẽ bỏ qua các quy tắc robots.txt

 

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, như Gecko)  Chrome/49.0.2623.75 Safari/537.36 Google Favicon

 

Chrome/W.X.Y.Z trong tác nhân người dùng

Nếu thấy chuỗi Chrome/W.X.Y.Z trong chuỗi tác nhân người dùng trong bảng, thì W.X.Y.Z chính là trình giữ chỗ đại diện cho phiên bản của trình duyệt Chrome mà tác nhân người dùng đó sử dụng, ví dụ như 41.0.2272.96. Số phiên bản này sẽ tăng theo thời gian để phù hợp với phiên bản Chromium mới nhất mà Googlebot sử dụng.

Nếu bạn đang tìm kiếm tác nhân người dùng có mẫu này trong nhật ký máy chủ của mình, thì có lẽ bạn nên sử dụng ký tự đại diện cho số phiên bản thay vì chỉ định số phiên bản chính xác.

Tác nhân người dùng trong robots.txt

Trong trường hợp có nhiều tác nhân người dùng được công nhận trong tệp robots.txt, Google sẽ thực hiện theo tác nhân cụ thể nhất. Nếu muốn tất cả các trình thu thập dữ liệu của Google đều có thể thu thập dữ liệu các trang của bạn, thì bạn không cần đến tệp robots.txt. Nếu bạn muốn chặn hoặc cho phép tất cả các trình thu thập dữ liệu của Google truy cập một số nội dung nhất định, bạn có thể thực hiện bằng cách chỉ định Googlebot làm tác nhân người dùng. Ví dụ: nếu bạn muốn tất cả các trang của bạn xuất hiện trong Google Tìm kiếm và nếu bạn muốn quảng cáo AdSense xuất hiện trên trang của mình thì bạn không cần dùng tệp robots.txt. Tương tự như vậy, nếu bạn muốn chặn hoàn toàn một số trang từ Google, việc chặn tác nhân người dùng Googlebot cũng sẽ chặn tất cả các tác nhân người dùng khác của Google.

Tuy nhiên, bạn có thể cài đặt cụ thể hơn nếu muốn kiểm soát chi tiết hơn. Ví dụ: bạn có thể muốn tất cả các trang của bạn xuất hiện trong Google Tìm kiếm, nhưng lại không muốn Google thu thập dữ liệu các hình ảnh trong thư mục cá nhân của bạn. Trong trường hợp này, hãy sử dụng robots.txt để không cho phép tác nhân người dùng Googlebot-image thu thập dữ liệu các tệp trong thư mục cá nhân của bạn (trong khi cho phép Googlebot thu thập dữ liệu tất cả các tệp), cụ thể như sau:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Trong một ví dụ khác, giả sử bạn muốn quảng cáo trên tất cả các trang của bạn, nhưng bạn không muốn các trang đó xuất hiện trong Google Tìm kiếm. Trong trường hợp này, bạn sẽ chặn Googlebot, nhưng cho phép Mediapartners-Google, cụ thể như sau:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Tác nhân người dùng trong thẻ meta robots

Một số trang sử dụng nhiều thẻ meta robot để xác định lệnh cho nhiều trình thu thập dữ liệu, cụ thể như sau:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Trong trường hợp này, Google sẽ sử dụng tổng hợp các lệnh cấm và Googlebot sẽ theo cả hai lệnh noindex và nofollow. Xem thông tin chi tiết hơn về việc kiểm soát cách Google thu thập dữ liệu và lập chỉ mục trang web của bạn.

Thông tin này có hữu ích không?
Chúng tôi có thể cải thiện trang này bằng cách nào?