Anda dapat menjalankan eksperimen harga di Konsol Play untuk mendiversifikasi strategi penetapan harga untuk pasar negara berkembang atau menguji berbagai titik harga di pasar utama Anda untuk meningkatkan jumlah pendapatan.
Dengan eksperimen harga, Anda dapat menjalankan pengujian A/B dan menggunakan hasilnya untuk menyesuaikan harga aplikasi dengan yakin dan akurat berdasarkan daya beli di berbagai pasar secara global. Anda juga dapat menggunakan eksperimen harga untuk menguji berbagai titik harga dibandingkan dengan harga kontrol di pasar utama Anda untuk meningkatkan jumlah pendapatan. Menetapkan harga yang optimal untuk produk dalam aplikasi di berbagai negara/wilayah memastikan Anda menerapkan strategi penetapan harga terbaik untuk aplikasi guna terus meningkatkan pendapatan sambil tetap menarik pengguna baru. Karena fitur ini didasarkan pada harga dan penjualan produk dalam aplikasi, Anda harus merupakan developer penjual untuk menggunakannya.
Bagian di bawah ini memberikan panduan dan informasi penting tentang menyiapkan dan menjalankan eksperimen harga serta memahami hasilnya.
Luaskan dan baca setiap bagian di bawah ini sebelum Anda mulai menyiapkan eksperimen harga di Konsol Play.
Informasi umum
- Eksperimen hanya ada di tingkat aplikasi; Anda tidak dapat menjalankan eksperimen di beberapa aplikasi.
- Durasi maksimum eksperimen dapat berjalan adalah enam bulan, setelah itu harga akan kembali ke harga asli. Harga juga akan kembali ke harga asli setelah 14 hari menjadi signifikan secara statistik.
- Anda dapat menguji maksimum 1.000 produk dalam aplikasi dalam satu eksperimen.
- Anda tidak dapat menjalankan eksperimen yang sama dengan produk dalam aplikasi yang tumpang-tindih dan negara yang tumpang-tindih setidaknya hingga 30 hari setelah eksperimen asli berakhir.
- Anda tidak dapat menjeda eksperimen. Anda hanya dapat menjalankannya atau menghentikannya sepenuhnya. Anda tidak dapat memulai ulang eksperimen yang dihentikan.
Batas negara/wilayah
- Anda hanya dapat menjalankan satu eksperimen pada satu waktu di negara/wilayah tertentu. Misalnya, jika Anda telah menjalankan satu eksperimen di Norwegia, Anda tidak dapat menjalankan eksperimen lain di sana untuk produk yang berbeda, kecuali Anda menghentikan eksperimen pertama dan membuat eksperimen lain.
- Harga yang diuji harus dalam rentang harga yang ditentukan untuk pembelian dalam aplikasi. Jika persentase harga berada di luar rentang harga yang ditentukan untuk negara/wilayah tersebut sebagai bagian dari eksperimen, persentase harga akan otomatis berhenti pada nilai batas.
- Anda dapat memiliki maksimum dua varian harga dan satu kontrol untuk setiap eksperimen.
- Eksperimen hanya diterapkan di negara/wilayah yang dipilih dan tidak diterapkan di lokasi yang memiliki tarif berbeda terkait negara/wilayah itu. Misalnya, jika Anda menjalankan eksperimen di Prancis, eksperimen tidak akan mencakup wilayah Prancis terkait (Guyana Prancis, Polinesia Prancis, Guadeloupe, Martinik, Mayotte, Kaledonia Baru, Réunion, Saint Barthélemy, Saint Martin, Saint Pierre dan Miquelon, serta Wallis dan Futuna).
Perubahan pada produk dalam aplikasi
- Anda tidak dapat mengubah harga produk dalam aplikasi yang digunakan dalam eksperimen yang sedang berjalan. Untuk mengubah harga, Anda harus menghentikan eksperimen. Perhatikan hal berikut:
- Satu-satunya pengecualian adalah saat Anda menjalankan dua eksperimen dan menerapkan hasil eksperimen pertama. Atau, jika produk dalam aplikasi Anda ditautkan ke template harga, Anda dapat mengubah harga produk dalam aplikasi hanya untuk negara yang tidak termasuk dalam eksperimen.
- Jika Anda mengonfigurasi produk dalam aplikasi baru selama eksperimen aktif, produk tersebut tidak akan termasuk dalam eksperimen.
Menjalankan eksperimen dan menerapkan hasil
- Anda dapat menerapkan harga eksperimen kapan saja, tetapi sebaiknya tunggu sampai hasilnya signifikan secara statistik dan hanya terapkan perubahan harga yang berperforma lebih baik daripada grup kontrol.
- Anda tidak dapat menambahkan negara/wilayah atau produk tambahan ke eksperimen yang sedang berjalan.
- Jika satu atau beberapa produk Anda ditautkan ke template harga, menerapkan harga akan memperbarui harga di negara/wilayah eksperimen dan membatalkan tautan produk tersebut dari template.
Eksperimen akan banyak menampilkan penggunaan istilah statistik. Jika Anda asing dengan istilah tersebut, membaca glosarium di bawah ini dapat membantu.
| Istilah |
Definisi |
Catatan |
| Interval keyakinan |
Rentang nilai yang menunjukkan ketidakpastian seputar apakah hasilnya signifikan secara statistik atau tidak.
|
Ini adalah sinyal utama yang akan digunakan untuk menafsirkan hasil eksperimen. Data statistik yang signifikan ditentukan saat interval keyakinan tidak bersinggungan dengan 0.
Ini mungkin tidak muncul selama beberapa hari pertama karena volume data rendah.
|
| Tingkat keyakinan |
Probabilitas saat perbedaan yang diamati antara varian dan kontrol adalah benar.
Contoh: Tingkat keyakinan 90% berarti bahwa rasio perbedaan yang diamati kemungkinan karena kebetulan adalah 10%. Dengan kata lain, data yang sedang diuji kemungkinan dapat terjadi kurang dari 10% jika tidak ada perbedaan antara kontrol dan varian. |
- Kami menggunakan jackknife (alat statistik yang memungkinkan estimasi varian melalui resampling) untuk menghitung interval keyakinan, lalu menerapkan pengujian probabilitas berurutan campuran untuk mengontrol peningkatan rasio positif palsu dari pemantauan berkelanjutan.
- Tingkat keyakinan default adalah 90%, tetapi Anda dapat memilih antara 70% dan 99%. Setelah dipilih saat penyiapan eksperimen, tingkat keyakinan ini tidak akan berubah selama eksperimen berjalan.
- Anda tidak dapat mengubah tingkat keyakinan setelah memulai eksperimen.
- Tingkat keyakinan yang paling umum adalah 95%, 90%, dan 99%; tingkat keyakinan yang lebih tinggi memerlukan lebih banyak data dan, oleh karena itu, berarti hasil eksperimen lebih dapat diandalkan.
- 50% berarti peluang 50:50 hasilnya benar (mirip dengan lemparan koin).
|
| Kontrol |
Variabel pengujian asli (berisi harga asli pembelian dalam aplikasi) di grup eksperimen. |
Harga kontrol terlihat oleh sebagian audiens eksperimen yang ditentukan selama penyiapan dan semua pengguna di luar eksperimen. |
| Hasil eksperimen |
Hasil eksperimen Anda. |
Kemungkinan hasil eksperimen tercantum di bagian berikut. |
| Positif palsu (PP) |
Jika peristiwa negatif salah dikategorikan sebagai positif. |
Jika kami mendeteksi bahwa perbedaan pembelanjaan antara kontrol dan pengujian signifikan secara statistik (positif), tetapi perbedaan pembelanjaan antara kontrol dan pengujian sebenarnya tidak signifikan secara statistik (negatif), hal ini dianggap sebagai positif palsu.
Rasio positif palsu adalah rasio jumlah positif palsu dan jumlah total peristiwa negatif aktual.
|
| Produk dalam aplikasi |
Item yang biayanya hanya dikenakan satu kali kepada pengguna.
Produk dalam aplikasi dapat mencakup item seperti item virtual (misalnya, level atau ramuan dalam game) dan layanan premium dalam aplikasi Anda di Google Play.
|
Anda dapat memilih satu atau banyak produk dalam aplikasi berbeda, dengan jumlah maksimum 2.000. Secara umum, lebih banyak data berarti lebih sedikit waktu untuk mendeteksi perbedaan antara kontrol dan varian, jika ada perbedaan.
Bereksperimen dengan perubahan harga di banyak produk dapat mengurangi potensi kanibalisasi.
|
| Efek minimum yang dapat terdeteksi (MDE) |
Input yang Anda pilih saat menyiapkan eksperimen yang menunjukkan tingkat peningkatan yang ingin dideteksi oleh eksperimen Anda. Anda dapat menganggap hal ini sebagai memutuskan sensitivitas eksperimen, yang memengaruhi estimasi waktu hingga diperoleh data statistik yang signifikan. Setelah memilih MDE, Anda akan melihat estimasi waktu yang diperlukan untuk menentukan hasil yang signifikan secara statistik berdasarkan data historis pilihan Anda.
Misalnya, MDE yang lebih kecil berarti eksperimen yang lebih sensitif, yang menyebabkan estimasi waktu yang lebih lama untuk penghitungan data statistik yang signifikan.
|
|
| Efek baru |
Sebuah fenomena ketika pengguna dapat memilih atau mencoba fitur baru (seperti produk atau titik harga baru), meskipun fitur tersebut tidak lebih baik atau lebih menarik daripada fitur aslinya. Dalam hal ini, peningkatan biasanya berangsur hilang seiring waktu. |
Eksperimen yang diakhiri dengan cepat mungkin mengalami efek baru. Sebaiknya gunakan estimasi minggu sampai penghitungan data statistik yang signifikan untuk mempertimbangkan efek ini. |
| Data statistik yang signifikan |
Dalam pengujian A/B, ini adalah penentuan apakah perbedaan antara kontrol dan varian nyata atau tidak, atau kebetulan. |
Jika interval keyakinan tidak menyertakan nilai nol dalam efeknya, kami menganggap ini sebagai hasil yang signifikan secara statistik. Dalam kasus kita, efeknya adalah selisih antara pembelanjaan kontrol dan varian.
Anda dapat melihat beberapa contoh visual interval keyakinan di bagian Pertanyaan umum (FAQ).
|
| Varian |
Variasi variabel pengujian asli untuk grup eksperimen. |
Varian dapat berupa kenaikan harga atau penurunan harga untuk pembelian dalam aplikasi dengan harga asli. |
Menyiapkan eksperimen
Saat menyiapkan eksperimen, sebaiknya sertakan semua produk dalam aplikasi yang dapat dipertukarkan dalam aplikasi Anda (seperti mata uang dalam game) dalam eksperimen untuk membatasi kanibalisasi.
Sebelum memulai: Volume data rendah
Jika Anda bekerja dengan volume data rendah, kemungkinan Anda tidak akan memiliki cukup data untuk menarik kesimpulan dari eksperimen. Misalnya, jika Anda menjalankan eksperimen dengan produk baru, estimasi durasi dan peringatan eksperimen kami mungkin tidak akurat. Dalam hal ini, Anda mungkin melihat peringatan di Konsol Play bahwa volume data yang sangat rendah diprediksi dalam jangka waktu yang Anda pilih. Jika Anda mendapatkan pesan volume data rendah, Anda mungkin tidak memiliki cukup data untuk menjalankan eksperimen atau Anda mungkin dapat menyesuaikan parameter eksperimen. Berikut ini beberapa tindakan yang disarankan untuk memecahkan masalah volume data rendah.
Sebaliknya, jika Anda menjalankan eksperimen yang lebih lama, penting untuk mempertimbangkan bahwa hasil mungkin terpengaruh oleh faktor ekonomi seperti fluktuasi mata uang global dari waktu ke waktu.
Untuk menambahkan detail eksperimen, lakukan hal berikut:
- Buka Konsol Play, lalu buka halaman Eksperimen harga (Monetisasi dengan Play > Eksperimen harga).
- Klik Buat eksperimen.
- Di bagian "Tambahkan detail", masukkan nama eksperimen dan deskripsi singkat eksperimen Anda (opsional).
- Catatan: Nama eksperimen dan deskripsi singkat Anda tidak dilihat oleh pengguna.
- Pilih negara/wilayah tempat Anda ingin bereksperimen.
- Penting: Eksperimen harga hanya diterapkan di negara/wilayah yang dipilih, tidak diterapkan di lokasi terkait negara/wilayah itu. Misalnya, jika Anda memilih Prancis, eksperimen harga Anda hanya akan diterapkan di Prancis, bukan di wilayah terkaitnya seperti Guyana Prancis.
- Menggunakan drop-down Produk, pilih produk dalam aplikasi yang ingin Anda sertakan dalam eksperimen. Drop-down akan mencantumkan nama, ID, dan harga produk dalam aplikasi yang tersedia.
- Penting: Jika Anda memilih produk dalam aplikasi yang ditautkan ke template harga, template harga akan dikunci selama durasi eksperimen harga.
- Pilih tanggal mulai. Eksperimen akan dimulai pukul 00.00 PT pada tanggal yang dipilih. Anda dapat menjadwalkan eksperimen untuk diluncurkan pada masa mendatang.
- Klik Berikutnya untuk melanjutkan penyiapan eksperimen Anda dengan menambahkan varian.
Berdasarkan input penyiapan eksperimen, jika kami memprediksi volume data Anda akan terlalu rendah untuk mencapai data statistik yang signifikan, Anda akan melihat peringatan. Dalam hal ini, sebaiknya lakukan penyesuaian untuk memastikan Anda mengumpulkan cukup banyak data untuk mencapai data statistik yang signifikan. Untuk melihat kemungkinan langkah berikutnya, lihat Tindakan yang disarankan untuk volume data rendah.
Rekomendasi berikut akan membantu mengubah volume data yang diperlukan untuk mencapai data statistik yang signifikan sehingga durasi eksperimen dipersingkat.
Di bagian "Menambahkan varian", Anda dapat menambahkan dan menghapus varian harga. Eksperimen harga Anda harus memiliki setidaknya satu varian. Untuk menambahkan varian:
- Menggunakan drop-down, pilih Naikkan harga atau Turunkan harga, lalu masukkan persentase yang ingin diterapkan ke pilihan Anda. Perhatikan hal berikut:
- Anda harus memasukkan bilangan bulat.
- Jika memilih Turunkan harga, Anda harus memasukkan nilai antara 1 dan 99.
- Jika memilih Naikkan harga, Anda harus memasukkan nilai antara 1 dan 999.
- Setelah menambahkan varian, rentang harga kontrol dan rentang harga varian akan dicantumkan di halaman. Anda dapat mengklik Lihat harga produk untuk detail selengkapnya, termasuk nama dan ID produk, lokasi yang memiliki tarif berbeda (jika ada), dan informasi pajak. Di sini Anda dapat melihat perubahan persentase harga aktual setelah menggunakan nilai tukar dan pola harga khusus negara.
- Klik + Tambahkan varian lain dan ulangi langkah sebelumnya jika Anda ingin menyertakan beberapa varian dalam eksperimen. Rentang harga kontrol dan rentang harga varian juga dicantumkan di halaman.
- Klik Berikutnya untuk melanjutkan penyiapan eksperimen Anda dengan menyesuaikan setelan eksperimen.
Di bagian "Mengelola setelan", Anda dapat menetapkan parameter penargetan untuk menyesuaikan eksperimen. Untuk mengelola setelan eksperimen:
- Masukkan audiens eksperimen. Ini adalah persentase pengguna yang akan berada dalam eksperimen. Pengguna ini akan dibagi merata di seluruh varian dan kontrol Anda. Perhatikan bahwa pengguna di luar eksperimen juga akan melihat harga asli (kontrol), tetapi tidak akan disertakan dalam analisis eksperimen.
- Catatan: Anda harus memasukkan bilangan bulat antara 1 dan 100.
- Masukkan tingkat keyakinan. Menurunkan tingkat keyakinan akan meningkatkan kemungkinan positif palsu, tetapi juga akan mengurangi runtime eksperimen.
- Masukkan efek minimum yang dapat dideteksi. Ini menunjukkan tingkat peningkatan yang Anda inginkan dideteksi oleh eksperimen. Anda dapat menganggapnya sebagai memutuskan sensitivitas eksperimen. Efek ini akan menyesuaikan estimasi waktu hingga penghitungan data statistik yang signifikan.
- Pertajam parameter penargetan untuk menyesuaikan eksperimen. Anda dapat melihat estimasi waktu hingga penghitungan data statistik yang signifikan sebagai panduan berdasarkan penyiapan Anda.
Eksperimen siap untuk diluncurkan sekarang. Selama eksperimen, harga akan berubah untuk negara dan wilayah produk dalam aplikasi yang dipilih. Anda dapat mengakhiri eksperimen kapan saja.
- Sebelum meluncurkan eksperimen, pastikan Anda memahami hal berikut:
- Eksperimen dapat memengaruhi pendapatan aplikasi Anda. Perhatikan bahwa tanpa hasil yang signifikan secara statistik, hasil pendapatan negatif atau positif mungkin tidak berarti. Jadi, sebaiknya tunggu hingga Anda mencapai data statistik yang signifikan.
- Anda tidak akan dapat mengedit harga untuk produk dalam aplikasi yang dipilih saat eksperimen berjalan.
- Menerapkan hasil eksperimen akan memengaruhi semua negara/wilayah dan produk dalam aplikasi yang disertakan.
- Klik Konfirmasi dan luncurkan.
Anda dapat mengakhiri eksperimen kapan saja.
- Buka Konsol Play, lalu buka halaman Eksperimen harga (Monetisasi dengan Play > Eksperimen harga).
- Buka eksperimen yang ingin Anda akhiri.
- Klik Akhiri eksperimen.
Setelah mengakhiri eksperimen, harga eksperimen akan dikembalikan ke harga asli untuk negara/wilayah dan produk dalam aplikasi yang relevan. Eksperimen dan analisis tidak akan aktif lagi.
Jika Anda telah menjadwalkan eksperimen pada masa mendatang, Anda juga dapat membatalkannya dengan mengikuti langkah-langkah sebelumnya. Eksperimen yang dibatalkan dalam waktu 24 jam sejak tanggal mulai yang dijadwalkan terkadang dijalankan untuk sementara.
Anda harus memahami berbagai kemungkinan hasil eksperimen dan artinya bagi aplikasi dan strategi penetapan harganya. Baca bagian ini dengan cermat sebelum menerapkan hasil.
Jika dianggap signifikan secara statistik, hasil Anda akan tersedia di halaman analisis eksperimen dan Anda akan diberi tahu melalui pesan di Kotak Masuk.
Melihat hasil
Buka eksperimen Anda untuk melihat hasil dan analisisnya. Buka halaman Eksperimen harga (Monetisasi dengan Play > Eksperimen harga) lalu klik panah kanan di samping eksperimen untuk melihat halaman analisis eksperimen.
Hasilnya ditampilkan di dekat bagian atas halaman. Luaskan bagian Kemungkinan hasil eksperimen untuk melihat berbagai hasil dan artinya. Di bawah hasil eksperimen, Anda dapat melihat deskripsi singkat yang menjelaskan hasilnya. Misalnya, Anda mungkin melihat hasil, "Varian [X] memiliki performa terbaik" di atas penjelasan singkat hasil eksperimen, yang mungkin bertuliskan "Varian [X] mencapai pendapatan terbesar". Jika suatu varian telah mengimbangi atau mengungguli suatu kontrol, Anda dapat mengklik Terapkan varian [X] untuk menerapkan varian tersebut dan memperbarui harga produk dalam aplikasi. Untuk mempelajari lebih lanjut, lihat Menerapkan varian.
Catatan: Eksperimen berakhir secara otomatis 14 hari setelah hasil ditentukan, atau Anda dapat mengklik Akhiri eksperimen untuk segera mengakhirinya.
Tips: Anda dapat menerapkan harga eksperimen kapan saja, tetapi sebaiknya tunggu hingga hasilnya signifikan secara statistik dan hanya terapkan perubahan harga yang berperforma lebih baik daripada grup kontrol.
Melihat data pendukung
Di bawah hasil, tabel menampilkan data yang menjadi dasar hasil statistik. Tabel mencantumkan varian, pendapatan, pendapatan versus kontrol (dan pendapatan versus kontrol sebagai persentase), serta interval keyakinan untuk varian Anda. Jika Anda ingin memahami berbagai metrik di halaman analisis eksperimen, luaskan bagian Definisi metrik.
Di bawah tabel di bagian "Data pendukung", Anda dapat melihat data yang lebih terperinci. Diagram menampilkan Informasi pendapatan versus kontrol hingga tanggal terbaru yang tersedia sebagai default. Dalam tampilan ini, area yang diarsir mewakili interval keyakinan; diagram memungkinkan Anda melihat perubahan interval keyakinan dari waktu ke waktu. Anda dapat menyesuaikan durasi dan tanggal yang dipilih menggunakan filter durasi dan tanggal di kanan atas diagram.
Anda juga dapat menampilkan metrik berikut menggunakan filter metrik di kiri atas diagram: Pendapatan, Pesanan, Pembeli, Rasio pembeli, ARPPU (semua metrik ini juga dijelaskan di Definisi metrik). Jika Anda memilih metrik lain, diagram tidak akan menampilkan interval keyakinan, karena hal ini didasarkan pada pendapatan.
Untuk melihat detail tingkat produk selengkapnya, Anda juga dapat mengekspor hasil eksperimen sebagai file CSV. Anda dapat melihat kolom, format, dan contoh untuk ekspor CSV dengan meluaskan bagian Definisi metrik (ekspor CSV).
Tips: Anda dapat mengklik Lihat penyiapan eksperimen untuk melihat detail penyiapan eksperimen, yang juga dapat difilter berdasarkan varian dan berdasarkan negara/wilayah. Hal ini dapat membantu mengingatkan Anda dengan cepat tentang parameter eksperimen.
Sebelum menerapkan varian, perhatikan hal-hal berikut:
- Jika satu atau beberapa produk dalam aplikasi Anda ditautkan ke template harga, menerapkan varian akan memperbarui harga di negara/wilayah eksperimen dan membatalkan tautan produk dalam aplikasi ini dari template.
- Anda hanya dapat menerapkan varian tersebut ke semua produk dalam aplikasi dan negara/wilayah dalam eksperimen. Kami menghitung data statistik yang signifikan di seluruh penyiapan aplikasi sehingga tidak dapat menjamin hasil dan efek yang sama jika varian hanya diterapkan ke sebagian negara/wilayah dan produk dalam aplikasi yang disiapkan.
Jika varian mengimbangi atau mengungguli kontrol, Anda dapat memperbarui harga dengan menerapkan varian:
- Buka Konsol Play, lalu buka halaman Eksperimen harga (Monetisasi dengan Play> Eksperimen harga).
- Klik Terapkan varian di samping varian yang ingin Anda terapkan.
Harga aplikasi akan diperbarui seperti yang dikonfigurasi dalam varian. Eksperimen akan berakhir secara otomatis 14 hari setelah hasilnya ditentukan, atau Anda dapat mengklik Akhiri eksperimen untuk segera mengakhirinya.
Ada beberapa kemungkinan hasil untuk suatu eksperimen. Hasil eksperimen akan menentukan langkah Anda selanjutnya.
| Hasil eksperimen |
Arti |
Catatan/rekomendasi |
| Varian [X] memiliki performa terbaik |
Varian [X] telah menjadi signifikan secara statistik dengan memberikan hasil yang berarti dan peningkatan pendapatan terbesar. |
Terapkan varian [X] karena varian ini mengungguli kontrol dan varian lain secara signifikan. |
| Kedua varian berperforma lebih baik daripada kontrol |
Kedua varian mencapai pendapatan yang lebih besar daripada kontrol. Tinjau hasilnya dan tentukan varian yang akan diterapkan. |
Anda yang memutuskan varian mana yang akan diterapkan. |
| Performa varian dan kontrol sama |
Tidak ada varian yang mencapai pendapatan yang lebih besar daripada kontrol. |
Eksperimen Anda telah mengumpulkan cukup banyak data dan menghasilkan seri antara varian dan kontrol. |
| Kontrol memiliki performa terbaik |
Kontrol mencapai pendapatan yang lebih besar daripada kedua varian. |
Hal ini menunjukkan bahwa titik harga saat ini untuk negara dan produk eksperimen sudah optimal. Terus gunakan harga kontrol untuk produk dan negara eksperimen. |
| Membutuhkan lebih banyak data |
Eksperimen Anda sedang berlangsung. Diperlukan lebih banyak data untuk menentukan hasil yang signifikan secara statistik. |
Buka tindakan yang disarankan untuk volume data rendah guna menentukan langkah berikutnya. |
| Hasil tidak konklusif |
Eksperimen Anda telah dihentikan sebelum waktunya atau telah mencapai durasi eksperimen maksimum selama enam bulan. Diperlukan lebih banyak data untuk menentukan hasil yang signifikan secara statistik. Coba jalankan eksperimen baru dengan penyiapan berbeda. |
Buka tindakan yang disarankan untuk volume data rendah guna menentukan langkah berikutnya. Hal ini mungkin indikasi bahwa pembeli bersikap acuh tak acuh terhadap harga produk dalam aplikasi di negara/wilayah eksperimen. |
Tabel ini mencantumkan metrik dari halaman analisis eksperimen Anda.
| Metrik |
Definisi |
| Semua pendapatan produk |
Pendapatan kotor dari pengguna eksperimen yang membeli produk dalam aplikasi di dalam dan di luar eksperimen selama jangka waktu yang ditentukan. |
| Pendapatan Rata-rata Per Pengguna yang Membayar (ARPPU) |
Total pendapatan kotor produk dalam aplikasi dibagi dengan jumlah pembeli unik (pengguna yang melakukan minimal satu pembelian produk dalam aplikasi dari dalam dan luar eksperimen) dalam jangka waktu yang ditentukan untuk eksperimen tersebut. Metrik ini akan membantu Anda memahami nilai pembeli untuk bisnis Anda. |
| Rasio pembeli (28 hari) |
Persentase pengguna aktif bulanan yang melakukan minimal satu pembelian produk dalam aplikasi selama eksperimen, termasuk produk dalam aplikasi dari luar eksperimen.
Catatan: Ini adalah metrik utama untuk memahami konversi pembeli dan meningkatkan jangkauan basis pengguna berbayar Anda.
|
| Pembeli |
Pengguna unik yang membeli minimal satu produk dalam aplikasi dengan harga eksperimen selama jangka waktu yang ditentukan. |
| Pendapatan dari penginstal baru |
Pendapatan kotor dari pengguna yang menginstal aplikasi untuk pertama kalinya di perangkat apa pun setelah tanggal mulai eksperimen dan melihat harga eksperimen untuk pertama kalinya. Perlu diperhatikan bahwa beberapa pengguna memilih untuk tidak membagikan data ini kepada Google. |
| Pesanan |
Jumlah pembelian produk dalam aplikasi eksperimen yang dilakukan pada waktu eksperimen, selama jangka waktu yang ditentukan. |
| Pendapatan |
Pendapatan kotor dari pengguna eksperimen yang membeli produk dalam aplikasi dalam eksperimen selama jangka waktu yang ditentukan. |
Tabel ini mencantumkan kolom, format, dan contoh untuk definisi metrik yang diekspor sebagai file CSV.
|
Kolom
|
Format |
Contoh dan catatan |
| Tanggal |
String |
Mar 23, 2023
Tanggal pesanan berdasarkan Zona Waktu Pasifik (dalam format MMM DD, YYYY).
|
| ID SKU |
String |
treasure_chest_for_new_users
ID unik produk dalam aplikasi yang ditentukan oleh developer.
|
| Judul Produk |
String |
koin, langganan bulanan, dan seterusnya.
Nama produk dalam aplikasi yang ditentukan oleh developer.
|
| Negara |
String |
BR, US, FR, dan seterusnya.
Kode unik negara untuk metrik produk dalam aplikasi yang relevan.
|
| Grup Eksperimen |
String |
CONTROL, A, B
Grup eksperimen untuk metrik produk dalam aplikasi yang relevan.
|
| Mata Uang Developer |
String
|
USD, EUR, THB, dan seterusnya.
Mata uang konversi pesanan. Inilah mata uang lokal untuk membayar Anda.
|
| Pendapatan |
Angka |
2794.60
Total pendapatan kotor untuk produk dalam aplikasi yang ditentukan (berdasarkan tanggal, negara, dan grup eksperimen).
|
| Pendapatan dari Penginstal Baru |
Angka |
577.20
Pendapatan kotor dari pengguna yang menginstal aplikasi untuk pertama kalinya di perangkat apa pun setelah tanggal mulai eksperimen dan melihat harga untuk pertama kalinya (berdasarkan produk dalam aplikasi yang ditentukan, berdasarkan tanggal, negara, dan grup eksperimen). Perlu diperhatikan bahwa beberapa pengguna memilih untuk tidak membagikan data ini kepada Google.
|
| Pesanan |
Angka |
240
Total pesanan untuk produk dalam aplikasi yang ditentukan (berdasarkan tanggal, negara, dan grup eksperimen).
|
| Pembeli |
Angka |
197
Total pembeli untuk produk yang ditentukan (berdasarkan tanggal, negara, dan grup eksperimen). Pembeli adalah pengguna yang membeli produk dalam aplikasi tertentu selama eksperimen.
|
Pertanyaan umum (FAQ)
Ciutkan semua Luaskan semua
Negara/wilayah memenuhi syarat untuk eksperimen harga hanya jika memenuhi kriteria berikut:
- Negara/wilayah tempat Anda telah meluncurkan rilis (termasuk di jalur pengujian internal).
- Negara/wilayah yang mendukung mata uang lokal.
Jika volume data sangat rendah, data tidak tersedia. Selain itu, beberapa data yang ditampilkan di halaman analisis eksperimen Anda mungkin mengalami keterlambatan hingga tujuh hari.
Ya. Perhatikan bahwa jika Anda menjalankan eksperimen yang menampilkan produk dalam aplikasi yang ditautkan ke template harga, harga di negara/wilayah eksperimen akan dikunci selama durasi eksperimen. Namun, Anda tetap dapat mengubah harga untuk negara/wilayah lain.
Jika Anda memilih untuk menerapkan harga baru di akhir eksperimen, semua produk dalam aplikasi dalam eksperimen akan dibatalkan tautannya dari template harga terkait dan template harga tidak akan berubah. Jika Anda ingin menerapkan hasil eksperimen tanpa membatalkan tautan produk dalam aplikasi dari template harga, buka halaman Template harga (Setelan > Template harga) dan perbarui harga di sana.
Untuk mempelajari lebih lanjut, lihat template harga.
Tidak, harga eksperimen hanya dapat diuji dalam rentang harga minimum dan maksimum yang ditentukan per negara/wilayah. Saat memasukkan perubahan harga selama penyiapan eksperimen, jika perubahan harga berada pada salah satu batas, harga akan otomatis menggunakan harga minimum atau maksimum. Untuk meninjau daftar rentang harga dan mata uang yang diizinkan menurut negara, lihat Lokasi yang didukung untuk distribusi kepada pengguna Google Play.
Tidak; jika Anda terintegrasi dengan versi sistem penagihan Google Play apa pun, Anda dapat menjalankan eksperimen harga.
Sebaiknya Anda tidak menjalankan eksperimen A/B serentak untuk memastikan hasil yang bermakna. Misalnya, Firebase bekerja secara independen dari eksperimen harga di Konsol Play dan setiap gangguan terkait produk dalam aplikasi tertentu dapat memengaruhi keandalan hasil eksperimen.
Kami menggunakan jackknife (alat statistik yang memungkinkan estimasi varian melalui resampling) untuk menghitung interval keyakinan, lalu menerapkan pengujian probabilitas berurutan campuran untuk mengontrol peningkatan rasio positif palsu dari pemantauan berkelanjutan. Data statistik yang signifikan ditentukan saat interval keyakinan tidak bersinggungan dengan nol.
Eksperimen berhenti secara otomatis 14 hari setelah eksperimen mencapai data statistik yang signifikan atau sudah mencapai durasi eksperimen maksimum selama enam bulan. Kami tidak menghentikan eksperimen pada estimasi durasi yang diberikan saat penyiapan eksperimen, tetapi kami menghentikannya setelah terdeteksi perbedaan yang signifikan secara statistik, dengan waktu 14 hari untuk menerapkan harga baru sebelum harga kembali ke harga asli.
Tidak, hal ini tidak mungkin. Pengguna hanya akan melihat satu harga selama durasi eksperimen.
Tidak, hal ini tidak memungkinkan karena eksperimen sudah mulai mengumpulkan hasil dengan parameter yang awalnya dipilih. Anda dapat menjalankan eksperimen kedua secara paralel dengan memilih negara/wilayah tambahan, atau Anda dapat mengakhiri eksperimen saat ini dan menyiapkan eksperimen baru. Perhatikan bahwa jika ada produk dalam aplikasi dan negara/wilayah yang tumpang-tindih, Anda harus menunggu selama 30 hari sebelum dapat menyiapkan eksperimen baru.
Data statistik yang signifikan dihitung di semua negara/wilayah yang digabungkan dengan produk eksperimen, tidak secara terpisah untuk setiap kombinasi. Jika Anda tertarik dengan penyesuaian harga di negara/wilayah tertentu, sebaiknya hanya pilih negara/wilayah tersebut dalam penyiapan eksperimen.
Ya, Anda dapat menerapkan varian bahkan setelah harga kembali ke harga aslinya.
Jika produk dalam aplikasi eksperimen Anda tidak menghasilkan pendapatan yang berbeda secara signifikan dengan kontrol Anda atau tidak tersedia cukup data, hasilnya dianggap tidak konklusif. Untuk hasil ini, pembeli mungkin acuh tak acuh terhadap kedua harga tersebut.
Secara umum, ukuran sampel yang lebih besar akan menghasilkan kekuatan yang lebih besar. Jika satu produk dalam aplikasi yang ingin Anda uji merupakan salah satu produk yang paling populer di mata banyak pembeli, maka menguji produk dalam aplikasi itu mungkin bermanfaat. Jika tidak, sebaiknya uji beberapa produk dalam aplikasi secara bersamaan untuk meningkatkan kekuatan eksperimen Anda.
Jika Anda memiliki beberapa produk dalam aplikasi yang dapat dipertukarkan hingga batas tertentu (misalnya, US$0,99 untuk 60 unit mata uang dalam aplikasi dan US$4,99 untuk 300 unit mata uang dalam aplikasi), sebaiknya uji kedua produk dalam aplikasi bersama-sama untuk menghindari kanibalisasi.
Secara umum, kami merekomendasikan eksperimen satu varian dengan harga asli produk dalam aplikasi sebagai kontrol dan produk dalam aplikasi yang didiskon sebagai varian. Eksperimen dua varian memiliki produk dalam aplikasi dengan harga asli sebagai kontrol dan produk dalam aplikasi yang sama di dua titik harga berbeda. Hasil dari eksperimen tersebut bisa jadi sulit ditafsirkan, dan eksperimen dua varian memerlukan lebih banyak waktu daripada eksperimen dengan satu varian untuk mencapai data statistik yang signifikan.
Jika interval keyakinan tidak menyertakan nilai nol dalam efeknya, kami menganggap ini sebagai hasil yang signifikan secara statistik. Dalam kasus kita, efeknya adalah selisih antara pembelanjaan kontrol dan varian.
Berikut adalah contoh tampilan interval keyakinan Anda dengan hasil positif yang konklusif:
Berikut adalah contoh tampilan interval keyakinan Anda dengan hasil negatif yang konklusif:
Berikut adalah contoh tampilan interval keyakinan Anda dengan hasil tidak konklusif yang memerlukan lebih banyak data:
Ya, kami terus memantau spoofing lokasi pengguna dan mengambil tindakan untuk mengurangi dampaknya terhadap developer dan produk mereka.
Konten terkait