Щоб надати розробникам більше контролю та допомогти підвищити статистичну стійкість, нещодавно ми внесли деякі зміни до експериментів зі сторінками додатків у Play Console. Було додано три нові функції:
- налаштування параметрів експериментів;
- калькулятор, який приблизно розраховує потрібну вибірку й тривалість експерименту;
- довірчі інтервали, за допомогою яких можна безперервно відстежувати експерименти.
Ми оновили статтю відповідно до цих змін.
Описані тут функції зараз доступні не всім розробникам.
Щоб оптимізувати сторінки свого додатка в Google Play, ви можете проводити експерименти та визначати найефективніші варіанти локалізованого тексту й графіки. Це можна робити на головній і спеціальних сторінках додатка.
Ви можете тестувати варіанти опублікованих додатків і порівнювати їх із поточною версією на основі даних про встановлення. Так ви дізнаєтеся, який варіант найефективніший. Перш ніж налаштовувати тестування, перегляньте практичні поради щодо ефективного запуску експериментів.
Примітка: глобальні експерименти перейменовано на експерименти з графічними об’єктами за умовчанням. Однак їх функції не змінилися.
Типи експериментів
Для кожного додатка можна одночасно провести один експеримент із графічними об’єктами за умовчанням або до п’яти експериментів із локалізованими об’єктами.
Графічні об’єкти за умовчаннямПід час експерименту з графічними об’єктами за умовчанням можна випробувати графіку сторінки додатка стандартною мовою. Можна включити варіанти значка додатка, зображення для опису, знімків екрана та рекламного відео.
- Якщо сторінка вашого додатка доступна лише однією мовою: усі користувачі бачитимуть експерименти з графічними об’єктами за умовчанням.
- Якщо ви додали графічні об’єкти, локалізовані певною мовою: користувачів, які бачать додаток цією мовою, буде виключено з експериментів із графічними об’єктами за умовчанням. Наприклад, якщо мова додатка за умовчанням – англійська, але зображення для опису локалізоване французькою мовою, користувачі, які бачать сторінку додатка французькою, не візьмуть участь в експерименті (навіть якщо ви тестуєте значок додатка).
Під час локалізованого експерименту можна випробувати значок додатка, зображення для опису, знімки екрана, рекламне відео та/або описи додатка п’ятьма мовами. Експериментальні варіанти бачитимуть лише користувачі, які переглядають сторінку додатка вибраними мовами.
Якщо сторінка додатка доступна лише однією мовою, локалізовані експерименти бачитимуть лише користувачі, які переглядають додаток мовою за умовчанням.
Крок 1. Створіть експеримент
Щоб створити експеримент у Play Console:
- Відкрийте Play Console і перейдіть на сторінку Експерименти зі сторінками додатків (Зростання > Налаштування сторінки додатка > Експерименти зі сторінками додатків).
- Натисніть Створити експеримент.
- Введіть деталі експерименту.
- Назва експерименту. Введіть назву експерименту (не більше ніж 50 символів).
- Сторінка додатка. Виберіть сторінку додатка, на якій потрібно провести експеримент.
- Тип експерименту. Виберіть Експеримент із графічними об’єктами за умовчанням або Локалізований експеримент.
- Натисніть Далі.
- Перейдіть до вказівок у розділі "Крок 2. Налаштуйте експеримент".
Крок 2. Налаштуйте експеримент
Створивши експеримент, ви можете вибрати сторінку додатка, варіанти та атрибути для тестування.
Щоб налаштувати експеримент:
- Дотримуючись вказівок на екрані, виберіть сторінку додатка й укажіть цілі експерименту: його цільовий показник, аудиторію, варіанти тощо.
- Більше інформації та порад можна переглянути в таблиці нижче.
- Щоб почати експеримент, угорі сторінки натисніть кнопку Провести експеримент.
- Щоб завершити налаштування експерименту пізніше, натисніть Зберегти.
Укажіть у наведених нижче полях інформацію про сторінку додатка.
| Поле | Опис | Приклади й поради |
|---|---|---|
| Назва експерименту |
Відображається лише в Play Console для ідентифікації експерименту. Користувачі її не бачать. |
|
| Сторінка додатка | Сторінка додатка (головна чи спеціальна) для тестування. |
Назва спеціальної сторінки додатка залишається тією самою впродовж експерименту. Якщо після його початку ви перейменуєте спеціальну сторінку додатка, в експерименті назва не зміниться. Щоб уникнути плутанини під час експериментів, радимо видалити сторінки додатка, які ви не використовуєте, і за потреби створювати нові. |
Укажіть у наведених нижче полях інформацію про цілі експерименту. Від цих налаштувань залежатиме точність експерименту й кількість користувачів, які встановили додаток, потрібна для досягнення результату.
| Поле | Опис | Приклади й поради |
|---|---|---|
| Цільовий показник | Показник, за яким визначатиметься результат експерименту. |
У вас є два варіанти:
|
| Варіанти | Кількість експериментальних варіантів для порівняння з наявною сторінкою додатка. Якщо тестувати лише один варіант, експеримент завершиться швидше. |
Щоб додати до експерименту новий варіант, виберіть відповідне число зі спадного меню "Варіанти". Крім поточної версії, можна додати до трьох варіантів на експеримент. |
| Аудиторія експерименту |
Відсоток користувачів, які, відкривши сторінку додатка, бачитимуть експериментальний варіант. Цих відвідувачів буде розподілено рівномірно між вашими експериментальними варіантами. |
Якщо вказати 30% аудиторії, решта 70% відвідувачів бачитиме поточну версію сторінки в магазині. Якщо у вас 30% аудиторії та два експериментальні варіанти, кожен із них бачитимуть 15% користувачів. Під час експерименту кожен користувач бачитиме лише один варіант поточної версії сторінки. |
| Мінімальний ефект для виявлення | Мінімальна різниця між варіантами й контрольною групою, потрібна для того, щоб визначити ефективніший варіант. Якщо різниця менша, ніж указане значення, результатом експерименту вважатиметься нічия. | |
| Рівень достовірності | Визначає, як часто виявлений експериментом довірчий інтервал включатиме істинне значення ефективності сторінки додатка. |
Якщо підвищити рівень достовірності, це зменшить імовірність хибно-позитивного результату. Примітка. Якщо вибрати рівень достовірності 90%, хибно-позитивний результат може дати кожен десятий експеримент. |
|
Атрибути |
Виберіть тип елемента, який потрібно порівняти з поточною сторінкою додатка. |
Щоб ефективно проводити експерименти, тестуйте один атрибут за раз. Короткий і повний описи можна тестувати лише в експериментах із локалізованими об’єктами. Якщо ви тестуєте графічні об’єкти, переконайтеся, що вони відповідають вимогам до розміру й типу файлів. |
Під час введення інформації про цілі експерименту можна натиснути Редагувати приблизні значення, щоб налаштувати очікувані щоденні результати з таблиці нижче. Ці значення допомагають обчислити, як довго триватиме ваш експеримент. Вони можуть відрізнятися від фактичних результатів.
| Поле | Опис | Приклади й поради |
|---|---|---|
| Щоденні відвідування нових користувачів | Приблизна кількість користувачів, які раніше не встановлювали ваш додаток і відкриють його сторінку. | |
| Коефіцієнт конверсії | Очікуваний відсоток відвідувачів, яких буде віднесено до вашого цільового показника. |
Наприклад, у разі відстеження користувачів, які вперше встановили додаток, коефіцієнт конверсії означає приблизний відсоток відвідувачів, які стануть такими користувачами. |
| Користувачі, які вперше встановили додаток і не видалили його одразу (за день) |
Приблизна кількість користувачів, які встановлять ваш додаток уперше й залишать його принаймні на один день. |
Щоб дізнатися більше, перейдіть у розділ Статистика, показники й приклади. |
| Користувачі, які вперше встановили додаток (за день) |
Приблизна кількість користувачів, які відкриють сторінку вашого додатка й установлять його вперше. |
Щоб дізнатися більше, перейдіть у розділ Статистика, показники й приклади. |
Крок 3. Перегляньте й застосуйте результати
Для цього:
- Відкрийте Play Console і перейдіть на сторінку Експерименти зі сторінками додатків (Зростання > Налаштування сторінки додатка > Експерименти зі сторінками додатків).
- У таблиці натисніть стрілку вправо в рядку експерименту, щоб переглянути його. Щоб дізнатися, як представлено дані, перейдіть у розділ Таблиці експериментів зі сторінками додатків.
- У розділі "Результати" перегляньте підсумок результатів експерименту. Вони базуються на вибраному цільовому показнику.
Тут можна дізнатись, який з експериментальних варіантів найефективніший чи ефективніший, ніж поточна сторінка додатка в Google Play. Ви також побачите пояснення результату (на основі його довірчого інтервалу й мінімального ефекту для виявлення) і рекомендовану дію (якщо є). Якщо для отримання результату недостатньо даних, може з’явитися повідомлення "Потрібно більше даних".
- Подальші дії залежать від результату.
- Якщо найефективнішим виявився один варіант, ви можете побачити рекомендацію застосувати його.
- Якщо ви бачите повідомлення "Залиште експеримент активним, щоб зібрати більше даних", поверніться до результатів пізніше.
- Якщо кілька варіантів виявились ефективнішими, ніж поточна сторінка додатка, або з’явилося повідомлення "Нічия", проаналізуйте їх і виберіть оптимальний варіант.
- Якщо найкращий результат показала поточна сторінка додатка, натисніть Залишити поточну сторінку.
Коли ви налаштуєте експерименти, на сторінці Експерименти зі сторінками додатків з’явиться вказана нижче інформація. Її буде впорядковано в чотири таблиці, як показано нижче. Щоб переглянути докладнішу інформацію про експеримент, натисніть стрілку вправо в його рядку в таблиці.
Чернетки
- Назва експерименту: назва вашого експерименту.
- Сторінка додатка: сторінка додатка, на якій проводиться експеримент.
- Тип експерименту: з графічними об’єктами за умовчанням або локалізованими об’єктами.
- Відомості: кількість варіантів і відсоткові частки аудиторії.
Заповнюється
- Назва експерименту: назва вашого експерименту.
- Сторінка додатка: сторінка додатка, на якій проводиться експеримент.
- Тип експерименту: з графічними об’єктами за умовчанням або локалізованими об’єктами.
- Дата початку: день початку експерименту.
- Відомості: кількість варіантів і відсоткові частки аудиторії.
Завершено
- Назва експерименту: назва вашого експерименту.
- Сторінка додатка: сторінка додатка, на якій проводиться експеримент.
- Тип експерименту: з графічними об’єктами за умовчанням або локалізованими об’єктами.
- Дата початку: день початку експерименту.
- Відомості: кількість варіантів і відсоткові частки аудиторії.
- Результат: результат експерименту.
Минулі експерименти
- Назва експерименту: назва вашого експерименту.
- Сторінка додатка: сторінка додатка, на якій проводиться експеримент.
- Тип експерименту: з графічними об’єктами за умовчанням або локалізованими об’єктами.
- Дата початку: день початку експерименту.
- Дата завершення: день завершення експерименту.
- Стан: указує, чи застосовано варіант.
Вибравши експеримент, можна переглянути показники користувачів і встановлень та дізнатися ефективність кожного варіанта.
Показники користувачів
| Показник | Визначення |
|---|---|
| Користувачі, які вперше встановили додаток |
Унікальні користувачі, які під час експерименту вперше встановили додаток. Дані вказано з урахуванням частки аудиторії. |
| Користувачі, які не видалили додаток (1 день) |
Унікальні користувачі, які під час експерименту вперше встановили додаток і не видалили його на наступний день після встановлення. Дані вказано з урахуванням частки аудиторії. |
| Користувачі, які попередньо зареєструвалися й не скасували реєстрацію одразу (доступно лише для деяких партнерів Google Play) | Кількість користувачів, які попередньо зареєструвалися й залишалися в цьому статусі принаймні 1 день. |
Результати
Показники результатів експерименту можна переглянути двома способами.
- Поточні: кількість унікальних користувачів
- Зважена кількість: кількість унікальних користувачів, поділена на частку аудиторії
Щоб переглянути кількість встановлень в абсолютних величинах, виберіть поточні дані. Щоб переглянути значення з урахуванням різних часток аудиторії (наприклад, якщо 90% аудиторії бачили одну версію, а 10% – іншу), виберіть зважені дані.
| Показник | Визначення та приклади |
|---|---|
| Ефективність |
Прогнозована зміна кількості встановлень порівняно з поточною версією. Показники ефективності доступні, лише коли в експерименті достатньо даних. Загалом, що більше часу проводити експеримент і збирати дані, то вужчим та точнішим буде діапазон ефективності варіанта. Приклад. Якщо ефективність експериментального варіанта становить від +5% до +15%, то очікувана ефективність перебуває в межах цих значень і ймовірно дорівнює +10%. |
| Встановлення (зважена кількість) |
|
| Встановлення (поточні) |
|
Показники встановлень (не підтримуються)
Нижче наведено показники для експериментів, розпочатих до 24 січня 2019 р. Для таких експериментів можна переглянути відповідну статистику. Новіші експерименти міститимуть лише показники для користувачів, які вперше встановили додаток, і тих, які не видалили додаток на наступний після встановлення день.
| Показник | Визначення та приклади |
|---|---|
| Встановлення на активних пристроях |
|
| Встановлення за користувачами |
|
| Видалення за користувачами |
|
Експерименти з використанням показників, які не підтримуються
Починаючи з вересня 2019 р., експерименти з використанням перелічених вище застарілих показників припинятимуться автоматично. Врахуйте це у своїх планах і використовуйте для експериментів зі сторінками додатків найновіші показники.
Результати для припинених експериментів можна переглядати у відповідному розділі на сторінці Експерименти зі сторінками додатків.
Як підписатися на сповіщення про експерименти
Щоб отримувати сповіщення й електронні листи про завершення експериментів, налаштуйте потрібні параметри на сторінці Сповіщення в Play Console.
Щоб дізнатися більше про сповіщення, прочитайте відповідний розділ статті Як керувати даними облікового запису розробника.