Menjalankan pengujian A/B di listingan Play Store

Untuk memberi developer kontrol yang lebih besar dan statistik yang lebih andal, baru-baru ini kami melakukan beberapa perubahan pada eksperimen listingan Play Store di Konsol Play. Kami telah menambahkan tiga kemampuan baru:

• konfigurasi parameter eksperimen;
• kalkulator untuk memperkirakan sampel yang diperlukan dan waktu penyelesaian; serta
• interval keyakinan yang kini memungkinkan pemantauan berkelanjutan. 

Halaman ini telah diperbarui untuk mencerminkan perubahan tersebut. 

Fitur yang dijelaskan di halaman ini hanya tersedia untuk developer tertentu.

Untuk membantu mengoptimalkan listingan Play Store di Google Play, Anda dapat menjalankan eksperimen untuk menemukan visual yang paling efektif dan teks yang dilokalkan untuk aplikasi Anda. Anda dapat menjalankan eksperimen untuk halaman listingan Play Store kustom dan utama Anda.

Untuk aplikasi yang telah dipublikasikan, Anda dapat menguji varian terhadap versi aplikasi saat ini untuk melihat mana yang memiliki performa paling baik, berdasarkan data penginstalan. Sebelum menyiapkan pengujian, tinjau praktik terbaik untuk menjalankan eksperimen yang efektif.

Catatan: Eksperimen global telah diganti namanya menjadi eksperimen visual default. Walaupun sudah berganti nama, fungsionalitas yang ada di eksperimen visual tetap sama.

Jenis eksperimen

Untuk setiap aplikasi, Anda dapat menjalankan satu eksperimen visual default atau maksimal lima eksperimen yang dilokalkan sekaligus.

Visual default 

Dengan menggunakan eksperimen visual default, Anda dapat melakukan eksperimen visual dalam bahasa listingan Play Store default untuk aplikasi Anda. Anda dapat menyertakan varian ikon, gambar fitur, screenshot, dan video promo aplikasi.

• Jika listingan Play Store aplikasi Anda hanya tersedia dalam satu bahasa: Eksperimen visual default akan ditampilkan kepada semua pengguna.
• Jika Anda telah menambahkan aset visual yang dilokalkan dalam bahasa tertentu: Pengguna yang melihat aplikasi Anda dalam bahasa tersebut tidak akan diikutsertakan dalam eksperimen visual default aplikasi Anda. Misalnya, jika bahasa default aplikasi adalah bahasa Inggris dan aplikasi memiliki gambar fitur yang dilokalkan dalam bahasa Indonesia, pengguna yang melihat aplikasi dalam bahasa Indonesia tidak akan diikutkan dalam eksperimen (meskipun Anda sedang menguji ikon).

Dilokalkan (untuk teks dan visual)

Dengan menggunakan eksperimen yang dilokalkan, Anda dapat melakukan eksperimen terhadap ikon, gambar fitur, screenshot, video promo, dan/atau deskripsi aplikasi dalam maksimal lima bahasa. Varian eksperimen hanya akan ditampilkan ke pengguna yang melihat listingan Play Store aplikasi dalam bahasa yang dipilih.

Jika listingan Play Store aplikasi hanya tersedia dalam satu bahasa, eksperimen yang dilokalkan hanya akan ditampilkan kepada pengguna yang melihat aplikasi Anda dalam bahasa defaultnya.

Langkah 1: Membuat eksperimen

Untuk membuat eksperimen di Konsol Play:

1. Buka Konsol Play, lalu buka halaman Eksperimen Listingan Play Store (Kembangkan > Keberadaan di Store > Eksperimen Listingan Play Store).
2. Klik Buat eksperimen.
3. Masukkan detail eksperimen:
   • Nama eksperimen: Masukkan nama eksperimen Anda (maksimal 50 karakter).
   • Listingan Play Store: Pilih listingan Play Store tempat Anda ingin menjalankan eksperimen ini.
   • Jenis eksperimen: Pilih Eksperimen visual default atau Eksperimen yang dilokalkan.
4. Klik Berikutnya.
5. Lanjutkan ke petunjuk di bagian "Langkah 2: Menyiapkan eksperimen".

Langkah 2: Menyiapkan eksperimen

Setelah membuat eksperimen, Anda dapat memilih listingan Play Store, varian, dan atribut yang ingin diuji.

Untuk menyiapkan eksperimen:

1. Ikuti petunjuk di layar untuk memilih listingan Play Store dan menambahkan sasaran eksperimen, seperti metrik target, audiens eksperimen, varian, dan setelan lainnya.
   • Untuk tips dan informasi selengkapnya, tinjau tabel di bawah.
2. Untuk memulai eksperimen, buka bagian atas halaman dan klik Jalankan eksperimen.
3. Untuk menyelesaikan penyiapan eksperimen nanti, klik Simpan.

Melihat kolom, deskripsi, serta contoh dan tips

Anda harus memberikan informasi listingan Play Store di bawah ini saat menyiapkan eksperimen.

Kolom	Deskripsi	Contoh dan tips
Nama eksperimen	Nama eksperimen hanya terlihat di Konsol Play untuk mengidentifikasi eksperimen dan tidak dapat dilihat oleh pengguna.	"Eksperimen ikon terang" "Gambar fitur logo" "Deskripsi singkat dengan slogan baru"
Listingan Play Store	Listingan Play Store (utama atau kustom) yang ingin diuji.	Setelah memulai eksperimen, nama listingan Play Store kustom ditampilkan dengan nama yang dipakai pada awal eksperimen. Jika Anda memperbarui nama listingan Play Store kustom setelah eksperimen dimulai, nama tersebut tidak akan diubah selama eksperimen. Agar tidak bingung saat menjalankan eksperimen, sebaiknya hapus listingan Play Store kustom yang tidak digunakan, lalu buat listingan baru jika diperlukan.

Anda harus memberikan informasi sasaran eksperimen di bawah ini saat menyiapkan eksperimen. Setelan ini akan memengaruhi akurasi eksperimen Anda serta jumlah penginstal yang dibutuhkan untuk mencapai hasil.

Kolom	Deskripsi	Contoh dan tips
Metrik target	Metrik yang akan digunakan untuk menentukan hasil eksperimen.	Anda memiliki dua opsi:  Penginstal pertama kali yang persisten (direkomendasikan): Jumlah pengguna yang menginstal aplikasi untuk pertama kali, dan membiarkannya tetap terinstal setidaknya selama 1 hari Penginstal pertama kali: Jumlah pengguna yang menginstal aplikasi untuk pertama kali, terlepas dari apakah mereka membiarkannya tetap terinstal atau tidak
Varian	Jumlah varian eksperimental yang akan dibandingkan dengan listingan Play Store saat ini. Menguji satu varian berarti waktu yang dibutuhkan untuk menyelesaikan eksperimen Anda akan menjadi lebih singkat.	Untuk menambahkan versi baru ke eksperimen, pilih opsi lain dari dropdown Varian. Anda dapat menambahkan maksimal tiga varian per eksperimen selain versi saat ini.
Audiens eksperimen	Persentase pengunjung listingan Play Store yang akan melihat varian eksperimental, bukan listingan Anda saat ini.  Pengunjung ini akan dibagi merata di seluruh varian eksperimental Anda.	Jika Anda mengetikkan 30% sebagai audiens, 70% sisanya di halaman listingan Play Store akan melihat versi halaman saat ini. Misalnya, jika Anda menetapkan 30% audiens dan dua varian dalam eksperimen, tiap varian akan ditampilkan kepada 15% pengguna. Selama berjalannya eksperimen, tiap pengguna hanya akan melihat satu varian atau versi halaman Anda saat ini.
Efek minimum yang dapat terdeteksi	Perbedaan minimum antara varian dan kontrol yang diperlukan untuk menentukan versi mana yang performanya lebih baik. Jika perbedaannya kurang dari ini, eksperimen Anda akan dianggap seri.
Tingkat keyakinan	Seberapa sering interval keyakinan yang diberikan eksperimen berisi performa listingan Play Store sebenarnya.	Meningkatkan tingkat keyakinan akan mengurangi kemungkinan positif palsu. Catatan: Dengan memilih tingkat keyakinan 90% untuk eksperimen Anda, satu dari sepuluh eksperimen mungkin akan melaporkan positif palsu
Atribut	Pilih jenis item yang ingin Anda uji dibandingkan dengan listingan saat ini.	Untuk menjalankan eksperimen secara efektif, uji satu atribut dalam satu waktu. Anda hanya dapat menguji deskripsi singkat dan deskripsi lengkap saat menjalankan eksperimen yang dilokalkan. Jika menguji aset visual, pastikan Anda mengikuti persyaratan ukuran dan jenis file.

Jika mengklik Edit estimasi saat memasukkan informasi sasaran eksperimen, Anda dapat mengedit perkiraan nilai harian yang tercantum di bawah ini. Nilai ini akan membantu menghitung waktu yang diperlukan eksperimen Anda. Hasilnya dapat berbeda dengan performa yang diamati.

Kolom	Deskripsi	Contoh dan tips
Kunjungan harian dari pengguna baru	Perkiraan jumlah pengunjung listingan Play Store yang belum pernah menginstal aplikasi Anda sebelumnya
Rasio konversi	Perkiraan persentase pengunjung yang akan melakukan konversi ke metrik target.	Misalnya, jika metrik target Anda adalah penginstal pertama kali, rasio konversinya adalah perkiraan persentase pengunjung yang akan melakukan konversi ke penginstal pertama kali.
Penginstal pertama kali yang persisten per hari	Perkiraan jumlah pengguna yang akan menginstal aplikasi Anda untuk pertama kali dan membiarkannya tetap terinstal setelah satu hari.	Buka Melihat deskripsi statistik, metrik, dan contoh untuk mempelajari lebih lanjut.
Penginstal pertama kali harian	Perkiraan jumlah pengguna yang akan mengunjungi listingan Play Store Anda dan menginstal aplikasi untuk pertama kali.	Buka Melihat deskripsi statistik, metrik, dan contoh untuk mempelajari lebih lanjut.

Langkah 3: Meninjau dan menerapkan hasil

Untuk meninjau dan menerapkan hasil:

1. Buka Konsol Play, lalu buka halaman Eksperimen Listingan Play Store (Kembangkan > Keberadaan di Store > Eksperimen Listingan Play Store).
2. Pilih panah kanan di baris tabel eksperimen yang ingin Anda tinjau. Lihat Tabel eksperimen listingan Play Store di bawah untuk mempelajari lebih lanjut bagaimana detail eksperimen ditampilkan.
3. Di bagian "Hasil", lihat ringkasan hasil eksperimen Anda. Hasil ini didasarkan pada metrik target Anda.
   
   Hasil ini akan memberi tahu Anda opsi mana yang memiliki performa terbaik, atau memiliki performa lebih baik dibandingkan listingan Play Store Anda saat ini. Anda juga akan melihat penjelasan hasil ini berdasarkan interval keyakinan dan efek minimum yang dapat terdeteksi, serta tindakan yang disarankan (jika berlaku). Anda mungkin menerima hasil "Perlu lebih banyak data" jika data yang dikumpulkan tidak cukup untuk menampilkan hasil.
    
4. Tindakan Anda berikutnya bergantung pada hasil eksperimen: 
   • Jika suatu varian berperforma baik, Anda mungkin melihat rekomendasi untuk menerapkan varian tersebut.
   • Jika hasilnya adalah "Biarkan eksperimen Anda berjalan untuk mengumpulkan lebih banyak data", periksa lagi nanti.
   • Jika sejumlah varian memiliki performa lebih baik dibandingkan listingan Play Store Anda, atau jika hasilnya adalah "Seri", tinjau hasilnya untuk menentukan varian mana yang ingin Anda terapkan. 
   • Jika listingan Play Store Anda saat ini memiliki performa terbaik, sebaiknya klik Pertahankan listingan saat ini.

Tabel eksperimen listingan Play Store

Setelah menyiapkan eksperimen, Anda akan melihat detail berikut di halaman Eksperimen Listingan Play Store Anda. Detail eksperimen disusun dalam empat tabel, seperti yang tercantum di bawah ini. Untuk mendapatkan detail selengkapnya, pilih panah kanan di baris tabel eksperimen yang ingin Anda lihat.

Draf

• Nama eksperimen: Nama eksperimen Anda
• Listingan Play Store: Listingan Play Store tempat eksperimen dijalankan
• Jenis eksperimen: Visual default atau dilokalkan
• Detail: Jumlah varian yang ditampilkan kepada sebagian pengguna target

Dalam proses

• Nama eksperimen: Nama eksperimen Anda
• Listingan Play Store: Listingan Play Store tempat eksperimen dijalankan
• Jenis eksperimen: Visual default atau dilokalkan
• Tanggal mulai: Tanggal eksperimen dimulai
• Detail: Jumlah varian yang ditampilkan dan persentase pengguna

Selesai

• Nama eksperimen: Nama eksperimen Anda
• Listingan Play Store: Listingan Play Store tempat eksperimen dijalankan
• Jenis eksperimen: Visual default atau dilokalkan
• Tanggal mulai: Tanggal eksperimen dimulai
• Detail: Jumlah varian yang ditampilkan dan persentase pengguna
• Hasil: Hasil eksperimen Anda

Eksperimen sebelumnya

• Nama eksperimen: Nama eksperimen Anda
• Listingan Play Store: Listingan Play Store tempat eksperimen dijalankan
• Jenis eksperimen: Visual default atau dilokalkan
• Tanggal mulai: Tanggal eksperimen dimulai
• Tanggal akhir: Tanggal eksperimen berakhir
• Status: Diterapkan atau tidak diterapkan

Melihat deskripsi statistik, metrik, dan contoh

Setelah memilih eksperimen, Anda dapat melihat metrik pengguna dan instal yang merangkum performa setiap varian.

Metrik pengguna

Metrik	Definisi
Penginstal pertama kali	Pengguna unik yang menginstal aplikasi Anda untuk pertama kali selama eksperimen. Data diskalakan untuk mengimbangi pembagian audiens.
Penginstal persisten (1 hari)	Pengguna unik yang menginstal aplikasi Anda untuk pertama kali dan membiarkannya tetap terinstal setelah 1 hari selama eksperimen. Data diskalakan untuk mengimbangi pembagian audiens.
Prapendaftaran persisten – hanya tersedia untuk Partner Play tertentu	Jumlah pengguna yang telah melakukan prapendaftaran dan tidak keluar dari prapendaftaran setidaknya selama 1 hari.

Hasil

Anda dapat melihat metrik yang menampilkan hasil eksperimen Anda dengan dua cara berbeda:

• Saat ini: Jumlah pengguna unik
• Diskalakan: Jumlah pengguna unik dibagi pembagian audiens

Jika Anda ingin meninjau data absolut tentang penginstal, gunakan data saat ini. Jika Anda ingin meninjau data yang telah diskalakan untuk memperhitungkan pembagian audiens berbeda (misalnya, Jika 90% audiens Anda melihat satu versi dan 10% audiens melihat versi lainnya), gunakan data yang diskalakan.

Item	Definisi dan contoh
Performa	Perkiraan perubahan dalam performa instal dibandingkan dengan versi saat ini. Performa hanya akan ditampilkan jika eksperimen Anda memiliki cukup data. Umumnya, jika eksperimen memiliki lebih banyak waktu untuk menjalankan dan mengumpulkan data, rentang performa varian akan menjadi lebih sempit dan akurat. Misalnya: Jika salah satu dari varian memiliki rentang performa +5% hingga +15%, perubahannya ada di antara kedua nilai ini, dan perubahan performa yang paling mungkin adalah angka tengah antara keduanya, yakni sekitar +10%.
Instal (diskalakan)	Jumlah instal selama eksperimen dibagi pembagian audiens. Disertakan untuk eksperimen yang dimulai sebelum 24 Januari 2019. Misalnya, jika Anda menjalankan eksperimen dengan dua varian yang menggunakan pembagian audiens 90%/10% serta instal untuk tiap varian adalah A = 900 dan B = 200, instal yang diskalakan akan menampilkan A = 1000 (900/0,9) dan B = 2000 (200/0,1).
Instal (saat ini)	Jumlah instal yang tetap terinstal hingga hari ini. Disertakan untuk eksperimen yang dimulai sebelum 24 Januari 2019.

Metrik instal (tidak digunakan lagi)

Metrik berikut digunakan untuk eksperimen yang dimulai sebelum 24 Januari 2019. Eksperimen yang dimulai sebelum tanggal ini masih menyertakan statistik ini, tetapi eksperimen baru hanya menggunakan metrik pengguna penginstal pertama kali dan penginstal persisten (1 hari).

Metrik	Definisi dan contoh
Penginstalan pada perangkat yang aktif	Jumlah perangkat aktif tempat setiap varian aplikasi diinstal saat ini, ditingkatkan skalanya untuk mengimbangi berbagai level audiens.
Instal menurut pengguna	Jumlah pengguna unik yang menginstal tiap varian aplikasi pada hari tertentu, dengan skala yang ditingkatkan untuk mengimbangi berbagai level audiens.
Uninstal menurut pengguna	Jumlah uninstal tiap varian aplikasi pada hari tertentu, ditingkatkan skalanya untuk mengimbangi berbagai level audiens.

Eksperimen memakai metrik yang tidak digunakan lagi

Per September 2019, eksperimen yang menggunakan salah satu metrik di atas yang tidak digunakan lagi akan otomatis dihentikan. Harap pertimbangkan hal ini dalam perencanaan Anda dan sebagai gantinya, gunakan metrik terbaru untuk Eksperimen Listingan Play Store. 

Anda dapat melihat hasil eksperimen yang dihentikan di bagian Eksperimen yang dihentikan pada halaman eksperimen Listingan Play Store.

Mendaftar untuk menerima notifikasi eksperimen

Untuk menerima notifikasi dan email saat eksperimen selesai, pastikan Anda menetapkan preferensi di halaman Notifikasi di Konsol Play. 

Untuk mempelajari lebih lanjut notifikasi email, buka artikel mengelola informasi akun developer Anda.