Apa saja metode yang digunakan tim eksperimen untuk menghitung interval keyakinan dan data statistik yang signifikan?
Pengambilan contoh kembali Jackknife diterapkan pada data yang dikelompokkan untuk menghitung varians sampel dari persentase perubahan metrik. Pengujian signifikan dua cabang kemudian dijalankan menggunakan interval keyakinan 95%.
Mengapa mengelompokkan data?
Mengelompokkan data mengurangi efek error pengamatan minor. Jika Anda ingin tahu lebih banyak mengapa pengelompokan data berguna, berikut adalah titik yang tepat untuk memulai.
Meskipun data tidak terdistribusi secara normal, data yang dikelompokkan akan dengan kasar didistribusikan secara normal berdasarkan Teorema Batas Pusat, asalkan ada cukup pengamatan per kelompok. Untuk menghitung kasus yang tidak memiliki cukup pengamatan per kelompok, metode Jackknife digunakan untuk menghitung interval keyakinan.
Mengapa menggunakan pengambilan contoh kembali Jackknife?
Pengambilan contoh kembali Jackknife adalah standar di Google karena hal ini adalah metode serbaguna yang menyediakan cakupan tingkat tinggi. Metode ini juga efektif untuk mendeteksi pencilan dan mengurangi bias estimasi sampel. Selain itu, metode ini sangat berguna dalam situasi dengan tidak adanya cukup data untuk mendapatkan estimasi yang akurat menggunakan teorema batas pusat, jadi metode ini digunakan pada data berkelompok untuk semakin meningkatkan akurasi interval keyakinan kami.
Anda dapat menemukan ringkasan umum tentang pengambilan contoh kembali Jackknife di sini. Jika ingin penjelasan lebih lanjut manfaatnya, makalah ini memberikan detail lebih lanjut.
Dapatkah pengiklan eksternal menggabungkan performa beberapa eksperimen setelah fakta, dan menghitung ulang statistik pada tingkat agregat?
Tidak, pengiklan tidak memiliki akses ke data tingkat pengguna untuk membuat kembali kelompok dan menjalankan algoritme jackknife. Saat ini, tidak ada fitur internal untuk melakukannya atas nama klien kami.
Apakah penargetan memengaruhi cara pemisahan saham lelang yang diterapkan pada eksperimen dan kampanye asli?
Penargetan tidak memengaruhi pemisahan. Pemisahan diterapkan pada lelang yang memenuhi syarat sebelum penargetan diterapkan. Misalnya, pemisahan 50:50 akan berarti eksperimen dan kampanye asli dimasukkan ke jumlah lelang yang sama.
Apa saja kondisi untuk memastikan pengujian A/A yang benar?
Pengujian A/A adalah pengujian yang eksperimen dan aslinya identik selama durasi pengujian tersebut (tidak ada perbedaan dalam iklan kampanye/grup iklan/setelan, dll. dan tidak ada perbedaan dalam persetujuan iklan). Setiap perubahan yang dibuat selama pengujian A/A perlu dilakukan untuk grup eksperimen dan asli pada saat yang sama.
Apa saja hasil yang diharapkan dari pengujian A/A?
Seharusnya tidak ada perbedaan yang signifikan secara statistik dalam klik, tayangan, CTR, atau CPC.
Apa saja perbedaan antara pemisahan berbasis penelusuran dan pemisahan berdasarkan cookie?
Hal ini adalah dua opsi berbeda untuk memutuskan perlakuan yang akan diterima pengguna. Dengan pemisahan eksperimen berbasis penelusuran, pengguna ditempatkan secara acak di eksperimen atau kampanye asli setiap kali terjadi penelusuran. Pengguna yang sama mungkin bisa melihat eksperimen dan kampanye asli jika melakukan beberapa kali penelusuran. Dengan pemisahan eksperimen berbasis cookie, pengguna hanya akan melihat 1 versi kampanye Anda, berapa kali pun mereka melakukan penelusuran. Hal ini dapat membantu memastikan bahwa faktor lain tidak memengaruhi hasil Anda.
Berapa banyak kelompok yang digunakan?
Dua puluh kelompok digunakan di bagian kontrol dan dua puluh kelompok digunakan di bagian perawatan. Jika ada terlalu banyak kelompok, mungkin butuh waktu terlalu lama untuk mendapatkan hasil yang signifikan secara statistik. Jika jumlah bucket terlalu sedikit, perhitungan interval keyakinan mungkin tidak akurat. Hal ini mencapai keseimbangan yang baik antara persyaratan praktis dan kekuatan statistik.
