Thuật ngữ tốc độ thu thập dữ liệu có nghĩa là Googlebot thực hiện bao nhiêu yêu cầu mỗi giây đến trang web của bạn khi thu thập dữ liệu trang: ví dụ, 5 yêu cầu mỗi giây.
Bạn không thể thay đổi tần suất Google thu thập dữ liệu trang web của bạn; nhưng nếu muốn Google thu thập dữ liệu đối với nội dung mới hoặc nội dung cập nhật trên trang web của mình, bạn có thể yêu cầu thu thập lại dữ liệu.
Cách sử dụng hợp lệ
Google có thuật toán phức tạp để xác định tốc độ thu thập dữ liệu tối ưu cho một trang web. Mục tiêu của chúng tôi là cố gắng thu thập dữ liệu số trang tối đa có thể trên trang web của bạn trong mỗi lần truy cập mà không làm băng thông máy chủ của bạn quá tải.
Nếu Google đang thực hiện quá nhiều yêu cầu mỗi giây đến trang web của bạn và làm chậm máy chủ của bạn, bạn có thể hạn chế tốc độ thu thập dữ liệu của Google đối với trang web của mình.
Bạn có thể hạn chế tốc độ thu thập dữ liệu cho các trang ở thư mục gốc, chẳng hạn như www.example.com và http://subdomain.example.com. Tốc độ thu thập dữ liệu mà bạn thiết lập là tốc độ thu thập tối đa mà Googlebot nên tuân theo. Tuy nhiên, chúng tôi không đảm bảo rằng Googlebot sẽ đạt đến tốc độ tối đa này.
Chúng tôi khuyên bạn không nên hạn chế tốc độ thu thập dữ liệu trừ khi bạn thấy các vấn đề về tải máy chủ mà bạn chắc chắn là do Googlebot gửi quá nhiều yêu cầu đến máy chủ của bạn.
Bạn không thể thay đổi tốc độ thu thập dữ liệu cho các trang web không phải ở thư mục gốc — ví dụ như www.example.com/folder.
Hạn chế tốc độ thu thập dữ liệu
- Mở trang cài đặt Tốc độ thu thập dữ liệu cho sản phẩm của bạn.
- Nếu tốc độ thu thập dữ liệu của bạn được mô tả là "tối ưu theo kết quả tính toán", thì cách duy nhất để giảm tốc độ thu thập dữ liệu là gửi yêu cầu đặc biệt. Bạn không thể tăng tốc độ thu thập dữ liệu.
- Còn nếu không thấy thông báo nêu trên hiển thị, hãy chọn tùy chọn bạn muốn và sau đó hạn chế tốc độ thu thập dữ liệu ở tần suất bạn muốn. Tốc độ thu thập dữ liệu mới sẽ có hiệu lực trong vòng 90 ngày.
Hạn chế tốc độ thu thập dữ liệu trong trường hợp khẩn cấp
Nếu Google thu thập dữ liệu trang web của bạn thường xuyên đến mức khiến trang web gặp sự cố về khả năng truy cập, thì sau đây là cách bảo vệ trang web:
- Xác định trình thu thập dữ liệu của Google đang gây quá tải cho trang web của bạn. Hãy xem nhật ký trang web của bạn hoặc sử dụng báo cáo Số liệu thống kê về hoạt động thu thập dữ liệu.
- Hạn chế tốc độ thu thập dữ liệu ngay lập tức:
- Nếu bạn muốn có một giải pháp đơn giản, hãy sử dụng tệp robots.txt để chặn thu thập dữ liệu đối với tác nhân đang gây ra tình trạng quá tải (googlebot, adsbot, v.v.). Tuy nhiên, có thể mất đến một ngày thì thao tác này mới có hiệu lực. Nhưng đừng chặn quá lâu, vì điều này có thể ảnh hưởng lâu dài đến hoạt động thu thập dữ liệu trên trang web của bạn.
- Nếu bạn có thể linh động phát hiện và xử lý mức tải gia tăng, hãy trả về HTTP 503/429 khi bạn sắp đạt đến giới hạn phân phát. Tuy nhiên, đừng trả về 503 hoặc 429 trong hơn 2 đến 3 ngày, vì việc này có thể khiến Google giảm tần suất thu thập dữ liệu trên trang web của bạn về lâu dài.
- Thay đổi tốc độ thu thập dữ liệu bằng cách sử dụng trang Cài đặt tốc độ thu thập dữ liệu (nếu có).
- Hai hoặc ba ngày sau, khi tốc độ thu thập dữ liệu của Google đã phù hợp, bạn có thể xoá các khối lệnh trong tệp robots.txt hoặc ngừng trả về mã lỗi 503 hoặc 429.
- Nếu bạn thấy AdsBot đang thu thập dữ liệu quá nhiều, thì vấn đề có thể là do bạn đã tạo quá nhiều mục tiêu cho Quảng cáo tìm kiếm động trên trang web của mình bằng cách sử dụng
URL_Equalshoặc nguồn cấp dữ liệu trang. Nếu máy chủ của bạn không có khả năng xử lý những lần thu thập dữ liệu này, bạn nên giới hạn mục tiêu quảng cáo, chỉ thêm một số lượng nhỏ URL mỗi lần hoặc tăng khả năng phân phát của máy chủ. Xin lưu ý rằng AdsBot sẽ thu thập dữ liệu trang của bạn 2 tuần một lần, nên bạn cần khắc phục vấn đề để ngăn vấn đề này xảy ra lần nữa. - Xin lưu ý rằng nếu bạn đã đặt giới hạn tốc độ thu thập dữ liệu bằng cách sử dụng trang cài đặt thu thập dữ liệu, thì tốc độ này sẽ quay lại chế độ điều chỉnh tự động sau 90 ngày.
