Trình thu thập dữ liệu của Google (tác nhân người dùng)

Xem Google sử dụng robot nào để thu thập dữ liệu web

"Trình thu thập dữ liệu" là một từ nói chung chỉ bất kỳ chương trình nào (chẳng hạn như robot) dùng để tự động phát hiện và quét các trang web bằng cách theo liên kết từ một trang web đến một trang web khác. Trình thu thập dữ liệu chính của Google được gọi là Googlebot. Bảng này liệt kê thông tin về các trình thu thập dữ liệu thông thường của Google mà bạn có thể thấy trong nhật ký liên kết giới thiệu và cách để chỉ định chúng trong robots.txt, thẻ meta robot và lệnh HTTP X-Robots-Tag.

Bảng sau đây liệt kê các trình thu thập dữ liệu mà các sản phẩm và dịch vụ khác nhau của Google sử dụng:

  • Mã tác nhân người dùng dùng được sử dụng trong dòng User-agent: trong tệp robots.txt để khớp với loại trình thu thập dữ liệu chung khi viết quy tắc thu thập dữ liệu cho trang web của bạn. Một số trình thu thập dữ liệu có nhiều mã, như hiển thị trong bảng. Bạn chỉ được sử dụng một mã trình thu thập dữ liệu duy nhất cho một quy tắc để quy tắc đó có hiệu lực. Danh sách này không đầy đủ, nhưng bao gồm hầu hết các trình thu thập dữ liệu bạn có thể thấy trên trang web của mình.
  • Chuỗi tác nhân người dùng đầy đủ là phần mô tả đầy đủ về trình thu thập dữ liệu và xuất hiện trong yêu cầu và nhật ký web của bạn.
Các giá trị này có thể bị giả mạo. Nếu cần xác minh rằng khách truy cập là Googlebot, bạn nên sử dụng quy trình tra cứu DNS ngược.
Trình thu thập dữ liệu Mã tác nhân người dùng (mã sản phẩm) Chuỗi tác nhân người dùng đầy đủ
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(Kiểm tra chất lượng quảng cáo trong trang web trên Android)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(Kiểm tra chất lượng quảng cáo trong trang web trên iPhone)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(Kiểm tra chất lượng quảng cáo trong trang web trên máy tính để bàn)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Hình ảnh
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot Tin tức
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (Desktop)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    hoặc (hiếm khi sử dụng):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (Smartphone)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

AdSense cho thiết bị di động

Mediapartners-Google

(Nhiều loại thiết bị di động khác nhau) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Ứng dụng cho thiết bị di động Android

(Kiểm tra chất lượng quảng cáo trong trang trên ứng dụng Android. Tuân theo quy tắc của robot AdsBot-Google.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

Không tuân theo quy tắc robots.txt - sau đây là lý do tại sao

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

Không tuân theo quy tắc robots.txt - sau đây là lý do tại sao

  • Tác nhân người dùng hiện tại:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Tác nhân người dùng cũ (đã ngừng sử dụng):
    google-speakr

Tác nhân người dùng trong robots.txt

Trong trường hợp tác nhân người dùng được công nhận trong tệp robots.txt, Google sẽ thực hiện theo tác nhân cụ thể nhất. Nếu bạn muốn toàn bộ Google đều có thể thu thập dữ liệu các trang của bạn, bạn không hề cần đến tệp robots.txt. Nếu bạn muốn chặn hoặc cho phép tất cả các trình thu thập dữ liệu của Google truy cập một số nội dung của bạn, bạn có thể làm điều này bằng cách chỉ định Googlebot làm tác nhân người dùng. Ví dụ: nếu bạn muốn tất cả các trang của bạn xuất hiện trong tìm kiếm trên Google và nếu bạn muốn quảng cáo AdSense xuất hiện trên trang của mình thì bạn không cần đến tệp robots.txt. Tương tự như vậy, nếu bạn muốn chặn hoàn toàn một số trang từ Google, việc chặn tác nhân người dùng Googlebot cũng sẽ chặn tất cả các tác nhân người dùng khác của Google.

Nhưng nếu bạn muốn kiểm soát chi tiết hơn, bạn có thể cụ thể hơn. Ví dụ: bạn có thể muốn tất cả các trang của bạn xuất hiện trong Google Tìm kiếm, nhưng bạn không muốn thu thập dữ liệu các hình ảnh trong thư mục cá nhân của bạn. Trong trường hợp này, hãy sử dụng robots.txt để không cho phép tác nhân người dùng Googlebot-image thu thập dữ liệu các tệp trong/thư mục cá nhân của bạn (trong khi cho phép Googlebot thu thập dữ liệu tất cả các tệp), như sau:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Trong một ví dụ khác, giả sử bạn muốn quảng cáo trên tất cả các trang của bạn, nhưng bạn không muốn các trang đó xuất hiện trong Google Tìm kiếm. Trong trường hợp này, bạn sẽ chặn Googlebot, nhưng cho phép Mediapartners-Google, như thế này:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Tác nhân người dùng trong thẻ meta robots

Một số trang sử dụng nhiều thẻ meta robot để xác định lệnh cho các trình thu thập dữ liệu khác nhau, như thế này:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Trong trường hợp này, Google sẽ sử dụng tổng các lệnh cấm và Googlebot sẽ theo cả hai lệnh noindexnofollow. Thêm thông tin chi tiết về việc kiểm soát cách Google thu thập dữ liệu và lập chỉ mục trang web của bạn.

Thông tin này có hữu ích không?
Chúng tôi có thể cải thiện trang này bằng cách nào?