Trình thu thập thông tin, còn được gọi là trình thu thập dữ liệu hoặc bot, là phần mềm mà Google sử dụng để xử lý và lập chỉ mục nội dung của trang web. Trình thu thập thông tin của Ad Manager truy cập trang web của bạn để xác định nội dung của trang web nhằm cung cấp quảng cáo phù hợp.
Dưới đây là một số thông tin quan trọng cần biết về trình thu thập thông tin của Ad Manager:
- Trình thu thập thông tin của Ad Manager khác với trình thu thập thông tin của Google. Hai trình thu thập thông tin này riêng biệt, nhưng dùng chung một bộ nhớ đệm. Chúng tôi làm theo cách này để giúp nhà xuất bản bảo toàn băng thông, bằng cách tránh trường hợp cả hai trình thu thập thông tin cùng yêu cầu các trang giống nhau. Tương tự, trình thu thập thông tin Công cụ quản trị trang web cũng riêng biệt.
- Việc giải quyết được các vấn đề trong trình thu thập thông tin Ad Manager không có nghĩa là giải quyết các vấn đề với trình thu thập thông tin của Google. Vị trí của bạn trong kết quả tìm kiếm của Google không bị ảnh hưởng khi bạn giải quyết các vấn đề về trình thu thập thông tin của Ad Manager. Để biết thêm thông tin về cách xếp hạng trang web của bạn trên Google, hãy xem lại bài viết của chúng tôi về cách xuất hiện trong danh sách kết quả tìm kiếm trên Google.
- Trình thu thập thông tin lập chỉ mục theo URL. Trình thu thập thông tin của chúng tôi có quyền truy cập riêng vào site.com và
www.site.com. Tuy nhiên, trình thu thập thông tin của chúng tôi không coisite.comvàsite.com/#anchorlà các URL riêng biệt. - Trình thu thập thông tin sẽ không truy cập vào các trang hoặc thư mục mà tệp robots.txt cấm. Cả trình thu thập thông tin của đối tác Ad Manager và Google đều tôn trọng tệp robots.txt của bạn. Do đó, nếu tệp robot.txt của bạn cấm truy cập vào các trang hoặc thư mục nhất định, thì các trang hoặc thư mục đó sẽ không được thu thập thông tin.
Nếu bạn đang phân phát quảng cáo trên các trang bị cấm bằng dòng
User-agent: *, thì trình thu thập thông tin của Ad Exchange sẽ vẫn thu thập thông tin của các trang này. Để ngăn chặn trình thu thập thông tin của Ad Exchange không truy cập vào các trang của bạn, bạn cần phải ghi rõUser-agent: Mediapartners-Googletrong tệp robots.txt của mình.Tìm hiểu thêm về cách cung cấp quyền truy cập trình thu thập dữ liệu trong tệp robots.txt của bạn.
- Trình thu thập thông tin sẽ cố truy cập vào các URL mà chúng tôi triển khai thẻ quảng cáo. Chỉ các trang hiển thị quảng cáo của Google cần gửi yêu cầu đến hệ thống của chúng tôi và được thu thập.
- Trình thu thập thông tin sẽ cố truy cập vào các trang chuyển hướng. Khi bạn có "trang gốc" chuyển hướng tới các trang khác, trình thu thập thông tin của chúng tôi phải truy cập vào các trang gốc để xác định rằng trong trang có tính năng chuyển hướng. Do đó, lượt truy cập vào các trang gốc của trình thu thập thông tin của chúng tôi sẽ xuất hiện trong nhật ký truy cập của bạn.
- Thu thập lại thông tin trang web. Vào thời điểm này, chúng tôi không thể kiểm soát tần suất trình thu thập thông tin của chúng tôi lập chỉ mục nội dung trên trang web của bạn. Việc thu thập dữ liệu được các bot của chúng tôi thu thập tự động. Nếu bạn thay đổi một trang, thì có thể mất đến 1 hoặc 2 tuần trước khi các thay đổi hiển thị trong chỉ mục của chúng tôi.
