Menjalankan uji A/B di direktori toko

Untuk membantu mengoptimalkan direktori toko di Google Play, Anda dapat menjalankan eksperimen untuk menemukan grafis paling efektif dan teks yang dilokalkan untuk aplikasi. Anda dapat menjalankan eksperimen untuk halaman listingan toko kustom dan utama Anda.

Untuk aplikasi yang dipublikasikan, Anda dapat menguji varian terhadap versi Anda saat ini untuk melihat performa terbaik, berdasarkan data penginstalan. Sebelum menyiapkan pengujian, tinjau praktik terbaik untuk menjalankan eksperimen yang efektif.

Catatan: Eksperimen global telah diganti namanya menjadi eksperimen grafis default. Fungsionalitas yang ada di eksperimen grafis tetap sama dengan yang ada di eksperimen global.

Jenis eksperimen

Untuk tiap aplikasi, Anda dapat menjalankan satu eksperimen grafis default atau hingga lima eksperimen yang dilokalkan sekaligus.

Grafis default 

Menggunakan eksperimen grafis default, Anda dapat bereksperimen dengan grafik dalam bahasa listingan toko default aplikasi Anda. Anda dapat menyertakan varian ikon, gambar fitur, screenshot, dan video promo aplikasi.

  • Jika listingan toko aplikasi Anda hanya tersedia dalam satu bahasa: Eksperimen grafis default akan ditampilkan kepada semua pengguna.
  • Jika Anda telah menambahkan aset visual yang dilokalkan dalam bahasa tertentu: Pengguna yang melihat aplikasi Anda dalam bahasa tersebut tidak akan dimasukkan ke dalam eksperimen grafis default aplikasi Anda. Misalnya, jika bahasa default aplikasi adalah bahasa Inggris dan aplikasi memiliki grafis fitur yang dilokalkan dalam bahasa Prancis, pengguna yang melihat aplikasi dalam bahasa Prancis tidak akan diikutkan dalam eksperimen (meskipun Anda sedang menguji ikon).
Dilokalkan (untuk teks dan grafis)

Dengan menggunakan eksperimen yang dilokalkan, Anda dapat melakukan eksperimen terhadap ikon, gambar fitur, tangkapan layar, video promo, dan/atau deskripsi aplikasi dalam maksimal lima bahasa. Varian eksperimen hanya akan ditampilkan ke pengguna yang melihat direktori toko aplikasi dalam bahasa yang dipilih.

Jika direktori toko aplikasi hanya tersedia dalam satu bahasa, eksperimen yang dilokalkan akan ditampilkan ke pengguna yang melihat aplikasi Anda dalam bahasa default-nya.

Langkah 1: Membuat eksperimen

Anda bisa membuat eksperimen menggunakan Play Console. Saat Anda sudah siap untuk meninjau dan menerapkan hasil, Anda bisa menggunakan Konsol Play atau aplikasi Konsol Play.

Grafis default
  1. Login ke Konsol Play.
  2. Pilih aplikasi.
  3. Di menu sebelah kiri, klik Keberadaan toko > Eksperimen listing toko.
  4. Klik Eksperimen baru.
  5. Di bawah "Grafis default," klik Buat.
  6. Lanjutkan ke petunjuk di bagian "Langkah 2: Menyiapkan eksperimen."
Dilokalkan
  1. Login ke Konsol Play.
  2. Pilih aplikasi.
  3. Di menu sebelah kiri, klik Keberadaan toko > Eksperimen listing toko.
  4. Klik Eksperimen baru.
  5. Di bagian "Dilokalkan," pilih satu bahasa.
  6. Klik Buat.
  7. Lanjutkan ke petunjuk di bagian "Langkah 2: Menyiapkan eksperimen."

Setelah memublikasikan eksperimen yang dilokalkan dalam satu bahasa, Anda dapat menambahkan maksimal empat bahasa lain. Untuk menambahkan eksperimen lain:

  1. Kembali ke halaman Eksperimen direktori toko.
  2. Pilih Eksperimen baru.
    • Jika tidak dapat memilih Eksperimen baru, pastikan tidak ada eksperimen yang tersimpan sebagai draf. Draf eksperimen harus dipublikasikan agar bahasa baru dapat ditambahkan.

Langkah 2: Menyiapkan eksperimen

Setelah membuat eksperimen, Anda dapat memilih listingan toko, variasi, dan atribut yang ingin diuji.

Untuk menyiapkan eksperimen:

  1. Ikuti petunjuk di layar untuk memilih listingan toko dan menambahkan informasi penargetan, atribut, dan variasi.
    • Untuk tips dan informasi selengkapnya, tinjau tabel di bawah.
  2. Untuk memulai eksperimen, kunjungi bagian atas halaman dan klik Jalankan eksperimen. Untuk menyelesaikan penyiapan eksperimen nanti, klik Simpan.
Lihat bidang deskripsi, contoh & tips
Bidang Deskripsi Contoh & tips
Nama
  • Nama eksperimen hanya terlihat di Play Console untuk mengidentifikasi eksperimen dan tidak dapat dilihat oleh pengguna.
  • "Eksperimen ikon terang"
  • "Gambar fitur logo"
  • "Deskripsi singkat dengan slogan baru"
Nama listingan toko
  • Listingan toko (utama atau kustom) yang ingin diuji.
  • Setelah memulai eksperimen, nama listingan toko kustom ditampilkan dengan nama yang dimiliki pada awal eksperimen. Jika Anda memperbarui nama listingan toko kustom setelah eksperimen dimulai, nama tersebut tidak akan diubah selama eksperimen.
  • Untuk menghindari kebingungan saat menjalankan eksperimen, sebaiknya hapus listingan toko kustom yang tidak digunakan, lalu buat listingan baru jika diperlukan.
Audiens
  • Persentase pengguna yang melihat varian eksperimen.
  • Persentase audiens akan dibagi secara merata antarvarian eksperimen.
  • Jika Anda mengetikkan 30% sebagai audiens, 70% sisanya pada halaman direktori toko akan melihat versi halaman saat ini.
  • Misalnya, jika Anda menetapkan 30% audiens dan dua varian dalam eksperimen, tiap varian akan ditampilkan ke 15% pengguna.
  • Selama berjalannya eksperimen, tiap pengguna hanya akan melihat varian tunggal atau versi halaman Anda saat ini.
Atribut
  • Pilih jenis item yang ingin Anda uji dibandingkan dengan direktori saat ini.
  • Untuk menjalankan eksperimen secara efektif, uji satu atribut dalam satu waktu.
  • Anda hanya dapat menguji deskripsi singkat dan deskripsi lengkap selama eksperimen dilokalkan.
  • Jika menguji aset grafis, pastikan Anda mengikuti persyaratan ukuran dan jenis file.
Varian
  • Untuk menambahkan versi baru ke eksperimen, klik Tambahkan varian lain.
  • Anda dapat menambahkan 3 varian per eksperimen selain versi saat ini.

Langkah 3: Meninjau & menerapkan hasil

Setelah menyiapkan eksperimen, Anda akan melihat detail berikut di halaman Eksperimen listingan toko Anda. Untuk mendapatkan detail selengkapnya, pilih eksperimen.

Eksperimen aktif

  • Eksperimen: Nama eksperimen Anda
  • Status: Jumlah varian yang akan ditampilkan pada persentase pengguna
  • Tanggal mulai: Tanggal eksperimen dimulai
  • Hasil: Hasil eksperimen atau status data

Eksperimen yang telah diselesaikan

  • Eksperimen: Nama eksperimen Anda
  • Jenis: Grafis default atau dilokalkan
  • Tanggal mulai: Tanggal eksperimen dimulai
  • Tanggal akhir: Tanggal eksperimen berakhir
  • Hasil: Diterapkan atau tidak diterapkan
Menggunakan situs Konsol Play
  1. Login ke Konsol Play.
  2. Pilih aplikasi.
  3. Di menu sebelah kiri, klik Keberadaan toko > Eksperimen listingan toko.
  4. Pilih eksperimen yang ingin Anda tinjau.
  5. Di samping “Metrik,” pilih metrik.
  6. Lihat hasil penelusuran Anda.
    • Untuk menerapkan varian yang mengungguli versi aplikasi saat ini, pilih Terapkan pemenang. Anda dapat meninjau perubahan direktori toko sebelum perubahan dipublikasikan.
    • Untuk mempertahankan versi saat ini, pilih Pertahankan. Tindakan ini akan memperbarui direktori toko agar menggunakan versi saat ini dan mengakhiri eksperimen.
    • Jika eksperimen memiliki performa yang sama, pilih Hentikan eksperimen.
    • Catatan: Bergantung pada metrik yang Anda pilih, hasil performa setiap varian mungkin berbeda. Untuk hasil terbaik, tinjau semua metrik yang tersedia sebelum memutuskan varian mana yang akan digunakan.
Menggunakan aplikasi Konsol Play
  1. Buka aplikasi Konsol Play Console app.
  2. Pilih aplikasi.
  3. Gulir ke bawah pada kartu "Eksperimen". Untuk informasi selengkapnya tentang eksperimen aplikasi, tap Lihat detail. Dari tampilan mendetail, tap varian untuk melihat audiens, pemasangan saat ini dan berskala untuk eksperimen tersebut.
    • Untuk menerapkan varian yang mengungguli versi aplikasi saat ini, pilih Terapkan pemenang. Anda dapat meninjau perubahan direktori toko sebelum perubahan dipublikasikan.
    • Untuk mempertahankan versi saat ini, pilih Pertahankan versi saat ini. Tindakan ini akan memperbarui direktori toko agar menggunakan versi saat ini dan mengakhiri eksperimen.
    • Catatan: Hasil performa didasarkan pada installer pertama kali. Untuk melihat hasil berdasarkan metrik tambahan, kunjungi situs Konsol Play.
Lihat deskripsi statistik, metrik, & contoh

Setelah memilih eksperimen, Anda dapat melihat metrik pengguna dan instal yang merangkum performa setiap varian.

Metrik pengguna

Metrik Definisi
Installer pertama kali
  • Pengguna unik yang menginstal aplikasi Anda untuk pertama kali selama eksperimen. Data ditingkatkan untuk mengimbangi pembagian audiens.
Installer yang belum meng-uninstal (1 hari) - hanya tersedia di situs Play Store
  • Pengguna unik yang menginstal aplikasi Anda untuk pertama kali dan menginstalnya setelah 1 hari aplikasi diinstal, selama eksperimen. Data ditingkatkan untuk mengimbangi pembagian audiens.

Hasil

Anda dapat melihat metrik yang menampilkan hasil eksperimen Anda dengan dua cara berbeda:

  • Saat ini: Jumlah pengguna unik
  • Ditingkatkan: Jumlah pengguna unik dibagi pembagian audiens

Jika ingin meninjau data absolut tentang installer, gunakan data saat ini. Jika Anda ingin meninjau data yang telah ditingkatkan untuk memperhitungkan pembagian audiens berbeda (misalnya: Jika 90% audiens Anda melihat satu versi dan 10% audiens melihat versi lainnya), gunakan data yang ditingkatkan.

Metrik Definisi & contoh
Installer
  • Jumlah pengguna unik yang menginstal aplikasi Anda untuk pertama kalinya.
Installer yang belum meng-uninstal
  • Jumlah pengguna unik yang menginstal aplikasi untuk pertama kali dan tetap menginstalnya setidaknya setelah 1 hari penginstalan.
Performa
  • Perkiraan perubahan dalam performa pemasangan dibandingkan dengan versi saat ini. Ada kemungkinan 90% bahwa varian akan bekerja dalam rentang yang ditampilkan dari waktu ke waktu. Karena rentang tersebut berdasarkan performa varian, nilai ini akan bervariasi selama eksperimen.
  • Rata-rata antara perkiraan perubahan tertinggi dan terendah varian dalam performa pemasangan menunjukkan perkiraan perubahan dalam performa varian.
  • Misalnya, jika salah satu dari varian memiliki rentang performa +5% hingga +15%, perubahan performa yang paling mungkin adalah angka tengah antara keduanya, sekitar +10%.
  • Performa hanya akan ditampikan jika eksperimen Anda memiliki cukup data. Umumnya, jika eksperimen memiliki lebih banyak waktu untuk menjalankan dan mengumpulkan data, rentang performa varian akan menjadi lebih sempit dan akurat.
Penginstalan (ditingkatkan) - tidak digunakan lagi
  • Jumlah penginstalan selama eksperimen dibagi pembagian audiens.
  • Disertakan untuk eksperimen yang dimulai sebelum 24 Januari 2019.
  • Misalnya, jika Anda menjalankan eksperimen dengan dua varian yang menggunakan pembagian pemirsa 90% / 10% serta pemasangan untuk tiap varian adalah A = 900 dan B = 200, pemasangan berskala akan menampilkan A = 1000 (900/0,9) dan B = 2000 (200/0,1).
Penginstalan (saat ini) - tidak digunakan lagi
  • Jumlah instal yang tetap terinstal hingga hari ini.
  • Disertakan untuk eksperimen yang dimulai sebelum 24 Januari 2019.

Metrik instal (tidak digunakan lagi)

Metrik berikut digunakan untuk eksperimen yang dimulai sebelum 24 Januari 2019. Eksperimen yang dimulai sebelum tanggal ini masih menyertakan statistik ini, namun eksperimen baru hanya menggunakan metrik pengguna installer pertama kali dan installer yang belum meng-uninstal (1 hari).

Metrik Definisi & contoh
Penginstalan pada perangkat yang aktif
  • Jumlah perangkat aktif tempat tiap varian aplikasi diinstal saat ini, ditingkatkan untuk mengimbangi berbagai level audiens.
Penginstalan menurut pengguna
  • Jumlah pengguna unik yang menginstal tiap varian aplikasi pada hari tertentu, ditingkatkan untuk mengimbangi berbagai level audiens
Uninstal menurut pengguna
  • Jumlah uninstal tiap varian aplikasi pada hari tertentu, ditingkatkan untuk mengimbangi berbagai level audiens.

Mendaftar untuk mendapatkan notifikasi eksperimen

Untuk menerima notifikasi di Konsol Play dan melalui email saat eksperimen Anda selesai, Anda dapat menyiapkan preferensi notifikasi.

Untuk mempelajari lebih lanjut tentang notifikasi email, buka artikel tentang mengelola informasi akun developer Anda.

Apakah ini membantu?
Bagaimana cara meningkatkannya?