Nhóm thử nghiệm sử dụng phương pháp nào để tính khoảng tin cậy và mức ý nghĩa thống kê?
Phương sai mẫu của tỷ lệ phần trăm sự thay đổi trong một chỉ số được tính toán bằng cách áp dụng phương pháp lấy mẫu lại Jackknife cho dữ liệu được chia thành các bộ phân tích. Sau đó, kiểm định mức ý nghĩa hai đầu được chạy với khoảng tin cậy 95%.
Tại sao nên phân giỏ dữ liệu?
Việc phân giỏ dữ liệu làm giảm ảnh hưởng của các sai số quan sát nhỏ. Nếu muốn biết thêm về lý do tại sao việc phân giỏ dữ liệu lại hữu ích thì bạn nên xem tại đây.
Ngay cả khi dữ liệu không được phân phối bình thường, phân phối dữ liệu phân giỏ sẽ được phân phối khá bình thường dựa trên Định lý giới hạn trung tâm, miễn là có đủ dữ liệu quan sát trên mỗi giỏ dữ liệu. Để phòng trường hợp không có đủ dữ liệu quan sát trên mỗi giỏ dữ liệu, phương pháp Jackknife được dùng để tính khoảng tin cậy.
Tại sao nên sử dụng phương pháp lấy mẫu lại Jackknife?
Phương pháp lấy mẫu lại Jackknife là tiêu chuẩn tại Google vì đây là một phương pháp linh hoạt có phạm vi bao quát cao. Phương pháp này cũng hiệu quả trong việc phát hiện các trường hợp ngoại lệ và giảm độ lệch của số liệu ước tính mẫu. Ngoài ra, phương pháp này đặc biệt hữu ích trong các trường hợp không có đủ dữ liệu để ước tính chính xác bằng định lý giới hạn trung tâm. Do đó, phương pháp này được dùng cho dữ liệu phân giỏ để tăng thêm độ chính xác của khoảng tin cậy mà chúng tôi sử dụng.
Bạn có thể xem bài viết giới thiệu tổng quan về phương pháp lấy mẫu lại Jackknife tại đây. Nếu bạn muốn có thông tin giải thích thêm về tính hữu ích của phương pháp này, bài viết này sẽ cung cấp thêm thông tin chi tiết.
Các nhà quảng cáo bên ngoài có thể tổng hợp hiệu suất của nhiều thử nghiệm sau khi tiến hành và tính toán lại các số liệu thống kê ở mức độ tổng hợp không?
Không, nhà quảng cáo không có quyền truy cập vào dữ liệu cấp người dùng để tạo lại các giỏ dữ liệu và chạy thuật toán jackknife. Hiện tại, chúng tôi chưa có công cụ nội bộ để làm như vậy thay mặt cho khách hàng của mình.
Việc nhắm mục tiêu có ảnh hưởng đến tỷ lệ phân chia các phiên đấu giá giữa chiến dịch thử nghiệm và chiến dịch gốc không?
Việc nhắm mục tiêu không ảnh hưởng đến tỷ lệ phân chia. Tỷ lệ phân chia được áp dụng cho những phiên đấu giá đủ điều kiện trước khi nhắm mục tiêu. Ví dụ: tỷ lệ phân chia 50:50 có nghĩa là chiến dịch thử nghiệm và chiến dịch gốc được tham gia số lượng phiên đấu giá bằng nhau.
Các điều kiện nào sẽ đảm bảo có được một thử nghiệm A/A thực sự?
Thử nghiệm A/A là một thử nghiệm trong đó chiến dịch thử nghiệm và chiến dịch gốc phải giống hệt nhau trong thời gian thử nghiệm (quảng cáo/nhóm quảng cáo/chế độ cài đặt, trạng thái phê duyệt quảng cáo, v.v. phải giống nhau). Nếu muốn thay đổi điều gì đó trong thời gian thử nghiệm A/A, thì bạn cần phải áp dụng sự thay đổi đó cho cả nhóm thử nghiệm và nhóm gốc.
Bạn có thể mong đợi những kết quả gì từ thử nghiệm A/A?
Số lần nhấp, số lần hiển thị, CTR hoặc CPC sẽ có sự chênh lệch có ý nghĩa thống kê.
Sự khác biệt giữa cách phân tách dựa trên lần tìm kiếm và cách phân tách dựa trên cookie là gì?
Đây là hai tùy chọn khác nhau để quyết định người dùng sẽ nằm ở nhánh nào của thử nghiệm. Với cách phân tách thử nghiệm dựa trên lần tìm kiếm, người dùng được đặt ngẫu nhiên vào chiến dịch thử nghiệm hoặc chiến dịch ban đầu mỗi khi một lần tìm kiếm xảy ra. Một người dùng có khả năng thấy cả chiến dịch thử nghiệm và chiến dịch ban đầu của bạn nếu họ tìm kiếm nhiều lần. Với cách phân tách thử nghiệm dựa trên cookie, người dùng chỉ có thể thấy một phiên bản của chiến dịch, bất kể họ tìm kiếm bao nhiêu lần. Điều này có thể giúp đảm bảo rằng các yếu tố khác không ảnh hưởng đến kết quả của bạn.
Có bao nhiêu giỏ dữ liệu được sử dụng?
Hai mươi giỏ dữ liệu được sử dụng trong nhánh đối chứng và hai mươi giỏ dữ liệu được sử dụng trong nhánh thử nghiệm. Nếu có quá nhiều giỏ thì có thể mất quá nhiều thời gian để có được kết quả có ý nghĩa thống kê. Nếu có quá ít giỏ thì các phép tính khoảng tin cậy có thể không chính xác. Số lượng này tạo ra sự cân bằng phù hợp giữa các yêu cầu thực tế và mức hiệu quả thống kê.
