Trình thu thập thông tin, còn được gọi là trình thu thập dữ liệu hoặc bot, là phần mềm mà Google sử dụng để xử lý và lập chỉ mục nội dung của trang web. Trình thu thập thông tin của Ad Manager truy cập trang web của bạn để xác định nội dung của trang web nhằm cung cấp quảng cáo phù hợp.
Dưới đây là một số thông tin quan trọng cần biết về trình thu thập thông tin của Ad Manager:
- Trình thu thập thông tin của Ad Manager khác với trình thu thập thông tin của Google. Hai trình thu thập thông tin này riêng biệt, nhưng dùng chung một bộ nhớ đệm. Chúng tôi làm thế nhằm tránh trường hợp cả hai trình thu thập thông tin yêu cầu cùng một trang, qua đó giúp các nhà xuất bản bảo toàn được băng thông. Tương tự, Search Console cũng tách biệt.
- Việc giải quyết được các vấn đề trong trình thu thập thông tin Ad Manager không có nghĩa là giải quyết các vấn đề với trình thu thập thông tin của Google. Vị trí của bạn trong kết quả tìm kiếm của Google không bị ảnh hưởng khi bạn giải quyết các vấn đề về trình thu thập thông tin của Ad Manager. Để biết thêm thông tin về cách xếp hạng trang web của bạn trên Google, hãy xem lại bài viết của chúng tôi về cách xuất hiện trong danh sách kết quả tìm kiếm trên Google.
- Trình thu thập thông tin lập chỉ mục theo URL. Trình thu thập thông tin của chúng tôi có quyền truy cập riêng vào
site.comvàwww.site.comnhưng không coisite.comvàsite.com/#anchorlà các URL riêng biệt. - Trình thu thập thông tin sẽ không truy cập vào các trang hoặc thư mục mà tệp robots.txt cấm. Cả trình thu thập thông tin của Google và của đối tác Ad Manager đều phải tuân thủ tệp robots.txt của bạn. Do đó, nếu tệp robots.txt cấm việc truy cập vào một số trang hoặc thư mục nhất định, thì những trang/thư mục đó sẽ không được thu thập thông tin.
Nếu bạn đang phân phát quảng cáo trên các trang bị chặn thu thập thông tin bằng dòng lệnh
User-agent: *trong tệp robots.txt, thì trình thu thập thông tin của Ad Manager vẫn có thể thu thập thông tin trên những trang này. Để ngăn trình thu thập thông tin của Ad Manager truy cập vào các trang của mình, bạn cần phải ghi rõ dòng lệnhUser-agent: Mediapartners-Googletrong tệp robots.txt.Tìm hiểu thêm về cách cung cấp quyền truy cập trình thu thập dữ liệu trong tệp robots.txt của bạn.
- Trình thu thập thông tin sẽ cố truy cập vào các URL mà chúng tôi triển khai thẻ quảng cáo. Chỉ các trang hiển thị quảng cáo của Google cần gửi yêu cầu đến hệ thống của chúng tôi và được thu thập.
- Trình thu thập thông tin sẽ cố truy cập vào các trang chuyển hướng. Khi bạn có "trang gốc" chuyển hướng tới các trang khác, trình thu thập thông tin của chúng tôi phải truy cập vào các trang gốc để xác định rằng trong trang có tính năng chuyển hướng. Do đó, lượt truy cập vào các trang gốc của trình thu thập thông tin của chúng tôi sẽ xuất hiện trong nhật ký truy cập của bạn.
- Thu thập lại thông tin trang web. Vào thời điểm này, chúng tôi không thể kiểm soát tần suất trình thu thập thông tin của chúng tôi lập chỉ mục nội dung trên trang web của bạn. Việc thu thập dữ liệu được các bot của chúng tôi thu thập tự động. Nếu bạn thay đổi một trang, thì có thể mất đến 1 hoặc 2 tuần trước khi các thay đổi hiển thị trong chỉ mục của chúng tôi.