Trình thu thập thông tin, hay gọi là trình thu thập dữ liệu hoặc bot, là phần mềm Google sử dụng để xử lý và lập chỉ mục nội dung của trang web. Trình thu thập thông tin nội dung truy cập vào trang web của bạn để xác định nội dung của trang web nhằm cung cấp quảng cáo phù hợp.
Dưới đây là một số thông tin quan trọng cần biết về trình thu thập thông tin nội dung:
- Báo cáo của trình thu thập thông tin được cập nhật hằng tuần.
Việc thu thập thông tin được thực hiện tự động và chúng tôi không thể đáp ứng các yêu cầu thu thập thông tin thường xuyên hơn. - Trình thu thập thông tin nội dung khác với trình thu thập thông tin của Google.
Đây là hai trình thu thập thông tin riêng biệt nhưng dùng chung bộ nhớ đệm. Chúng tôi thực hiện điều này nhằm tránh trường hợp cả hai trình thu thập thông tin cùng yêu cầu các trang giống nhau, từ đó giúp nhà xuất bản tiết kiệm băng thông của họ. Tương tự, trình thu thập thông tin của Search Console cũng riêng biệt. - Việc giải quyết các vấn đề với trình thu thập thông tin nội dung sẽ không giải quyết các vấn đề với trình thu thập thông tin của Google.
Việc giải quyết các vấn đề được liệt kê trên trang Quyền truy cập trình thu thập thông tin sẽ không ảnh hưởng đến vị trí quảng cáo của bạn trong kết quả tìm kiếm của Google. Để biết thêm thông tin về thứ hạng trang web của bạn trên Google, hãy xem bài viết Đưa trang web của bạn vào kết quả tìm kiếm của Google. - Trình thu thập thông tin lập chỉ mục theo URL.
Trình thu thập thông tin sẽ truy cập vào site.com và www.site.com một cách riêng biệt. Tuy nhiên, trình thu thập thông tin của chúng tôi sẽ không tính riêng site.com và site.com/#anchor. - Trình thu thập thông tin sẽ không truy cập vào các trang hoặc thư mục bị tệp robots.txt cấm.
Cả trình thu thập thông tin của Google và AdMob Mediapartners đều tuân thủ tệp robots.txt của bạn. Nếu tệp robot.txt cấm truy cập vào các trang hoặc thư mục nhất định, thì các trang hoặc thư mục đó sẽ không được thu thập thông tin.Lưu ý rằng nếu bạn đang phân phát quảng cáo trên các trang đang bị tệp robots.txt chặn bằng dòng lệnh User-agent: *, thì trình thu thập thông tin nội dung sẽ vẫn thu thập thông tin của các trang đó. Để trình thu thập thông tin nội dung không truy cập vào các trang của mình, bạn cần chỉ địnhUser-agent: Mediapartners-Googletrong tệp robots.txt. Tìm hiểu thêm. - Trình thu thập thông tin sẽ chỉ cố truy cập vào các URL có triển khai thẻ quảng cáo của chúng tôi.
Chỉ các trang hiển thị quảng cáo của Google mới gửi yêu cầu đến hệ thống của chúng tôi và được thu thập thông tin. - Trình thu thập thông tin sẽ cố gắng truy cập vào các trang chuyển hướng.
Khi bạn có "trang gốc" chuyển hướng đến trang khác, trình thu thập thông tin của chúng tôi phải truy cập vào trang gốc để xác định có sự chuyển hướng xảy ra. Do đó, việc trình thu thập thông tin truy cập vào các trang gốc sẽ xuất hiện trong nhật ký truy cập của bạn. - Thu thập lại thông tin trang web
Tại thời điểm này, chúng tôi không thể kiểm soát tần suất trình thu thập thông tin lập chỉ mục nội dung trên trang web của bạn. Các bot của chúng tôi thu thập thông tin một cách tự động. Nếu bạn thực hiện các thay đổi cho một trang, có thể mất từ 1 đến 2 tuần trước khi những thay đổi này được phản ánh trong chỉ mục của chúng tôi.