Огляд
Під час цінових експериментів можна проводити A/B-тестування й на основі отриманих результатів упевнено й точно коригувати ціни додатка залежно від купівельної спроможності користувачів на різних ринках у всьому світі. Крім того, за допомогою експериментів можна порівнювати різні ціни з контрольними на ключових ринках, щоб заробляти більше. Встановлення оптимальних цін на продукти, що продаються через додаток, у різних країнах і регіонах означатиме, що ви вибрали найкращу цінову стратегію для постійного збільшення доходу й залучення нових користувачів. Оскільки під час експериментів використовуються дані про ціни й продажі продуктів у додатку, проводити їх можуть лише розробники-продавці.
Підготовка й запуск цінового експерименту
У розділах нижче наведено важливі вказівки з підготовки й проведення експериментів із цінами, а також тлумачення їх результатів.
Перш ніж почати
Перш ніж почати підготовку цінового експерименту в Play Console, розгорніть і прочитайте всі розділи нижче.
Вимоги- В експерименти можна включати лише активні продукти, що продаються через додаток.
- Щоб проводити цінові експерименти, потрібні дозволи Керування сторінкою додатка й Перегляд фінансових даних.
Загальна інформація
- Експеримент можна проводити лише для одного додатка одночасно.
- Експеримент може тривати щонайбільше шість місяців, і після його завершення ціни скидаються до початкових. Це також відбувається через 14 днів після того, як експеримент досягає статистично значущого результату.
- В один експеримент можна включити щонайбільше 1000 продуктів, що продаються через додаток.
- Провести повторний експеримент із тими самими продуктами, що продаються через додаток, або в тих самих країнах можна щонайменше через 30 днів після закінчення першого експерименту.
- Експерименти не можна призупиняти. Їх можна лише запускати або повністю зупиняти. Зупинений експеримент не можна відновити.
Обмеження за країнами або регіонами
- У тій самій країні або тому ж регіоні не можна одночасно проводити більше ніж один експеримент. Наприклад, якщо ви вже проводите експеримент у Норвегії, то не зможете провести тут ще один для інших продуктів, доки не зупините перший експеримент і не створите новий.
- Експериментальна ціна має належати до визначеного цінового діапазону для покупок у додатку. Якщо під час підготовки експерименту відсоток ціни виходить за межі вказаного діапазону для країни чи регіону, то автоматично встановлюється відповідне порогове значення.
- Для кожного експерименту можна налаштувати щонайбільше два варіанти ціни й одне контрольне значення.
- Експерименти проводяться у вибраних країнах і регіонах, але не на підконтрольних їм територіях з іншою ставкою податку. Наприклад, експеримент для Франції не проводитиметься на заморських французьких територіях (Гваделупа, Майотта, Мартиніка, Нова Каледонія, Реюньйон, Сен-Бартелемі, Сен-Мартен, Сен-П’єр і Мікелон, Уолліс і Футуна, Французька Гвіана, Французька Полінезія).
Зміни в продуктах, що продаються через додаток
- Не можна змінити ціну на продукт, що продається через додаток, який включено в активний експеримент. Для цього потрібно зупинити експеримент. Зверніть увагу на зазначене нижче.
- Це не стосується випадків, коли ви проводите два експерименти й застосовуєте результати першого. Крім того, якщо продукт, що продається через додаток, зв’язано із шаблоном цін, ви можете змінити його ціни лише для країн, не охоплених експериментом.
- Якщо під час активного експерименту ви створите новий продукт, що продається через додаток, його не буде включено в експеримент.
Проведення експериментів і застосування результатів
- Застосувати експериментальні ціни можна будь-коли, але ми радимо зачекати, доки результати не стануть статистично значущими, а потім вибрати лише ті ціни, які виявляться ефективнішими за контрольну.
- До активного експерименту не можна включати додаткові країни чи регіони або продукти.
- Якщо принаймні один продукт зв’язано із шаблоном цін, то із застосуванням змінених цін буде оновлено ціни в країнах і регіонах експерименту, а такі продукти буде від’єднано від шаблонів.
В експериментах переважно використовується статистична термінологія. Якщо ви не знайомі з нею, перегляньте словник нижче.
| Термін | Визначення | Примітки |
|---|---|---|
| Довірчий інтервал |
Діапазон значень, що виражає невизначеність щодо статистичної значущості результату. |
Це ключовий показник, за допомогою якого можна інтерпретувати результат експерименту. Коли довірчий інтервал не перетинається з 0, це вказує на статистичну значущість. Довірчий інтервал може не визначатися в перші кілька днів через недостатній обсяг даних. |
| Рівень достовірності |
Імовірність того, що спостережувана різниця між варіантом і контрольним значенням достовірна. Приклад. Рівень достовірності 90% означає, що в 10% випадків може спостерігатися випадкова різниця. Інакше кажучи, якщо насправді різниці між контрольною групою і варіантом немає, імовірність випадкового отримання експериментального висновку про її наявність становить менше ніж 10%. |
|
| Контрольне значення | Початкова змінна для тестування (продукт, що продається через додаток, за початковою ціною) у групі експерименту. | Контрольну ціну бачить визначена частина аудиторії, охопленої експериментом, а також усі користувачі поза експериментом. |
| Результат експерименту | Результат вашого експерименту. | Можливі результати експерименту перелічено в наступному розділі. |
| Хибно-позитивний | Негативна подія, помилково визначена як позитивна. |
Якщо під час експерименту буде визначено, що різниця у витратах на придбання продукту за контрольною і експериментальною цінами статистично значуща (позитивний результат), але насправді вона такою не є (негативний результат), це хибно-позитивний результат. Частка хибно-позитивних результатів – це співвідношення кількості хибно-позитивних результатів до загальної кількості фактичних негативних подій. |
| Продукти, що продаються через додаток |
Продукти, за які стягується одноразова плата. До них, зокрема, належать віртуальні товари (наприклад, рівні гри або зілля) і платні сервіси в межах додатка Google Play. |
Можна вибрати щонайбільше 2000 продуктів, що продаються через додаток. Загалом, що більше даних, то швидше буде виявлено різницю між контрольним значенням і варіантами (якщо така різниця є). Включення в ціновий експеримент багатьох продуктів може знизити ризик канібалізації (зменшення обсягу продажів одного з продуктів). |
| Мінімальний ефект для виявлення |
Значення, вибране під час підготовки експерименту, що вказує на рівень покращення, який потрібно виявити під час експерименту. Тобто це рівень чутливості експерименту, який впливає на прогнозований час до досягнення статистичної значущості. Указавши мінімальний ефект для виявлення, ви побачите, скільки приблизно часу знадобиться, щоб отримати статистично значущий результат на основі вибраних вами історичних даних. Наприклад, менший мінімальний ефект для виявлення означає більш чутливий експеримент, для досягнення статистичної значущості якого потрібно більше часу. |
|
| Ефект новизни | Явище, коли користувачі воліють спробувати щось нове (наприклад, новий продукт або ціну), навіть якщо новий варіант не корисніший або не привабливіший за початковий. У такому разі приріст показників зазвичай поступово припиняється. | Причиною швидкого завершення експериментів може бути саме ефект новизни. Для врахування цього ефекту радимо дотримуватися розрахованої тривалості експерименту до досягнення статистичної значущості. |
| Статистична значущість | В A/B-тестуванні це індикатор імовірності того, що виявлена різниця між контрольним значенням і варіантом випадкова. |
Якщо довірчий інтервал не містить нульового значення ефекту, ми вважаємо це статистично значущим результатом. У нашому випадку ефект – це різниця у витратах на придбання продукту за контрольною і експериментальною цінами. Деякі приклади довірчих інтервалів можна переглянути в розділі Поширені запитання. |
| Варіант | Модифікація початкової змінної для групи експерименту. | Варіант – це будь-яка вища або нижча ціна порівняно з початковою ціною продукту, що продається через додаток. |
Підготовка експерименту
Під час підготовки експерименту радимо включити в нього всі взаємозамінні продукти, що продаються через додаток (наприклад, ігрову валюту), щоб знизити ризик канібалізації (зменшення обсягу продажів одного з продуктів).
Якщо у вас низький обсяг даних, імовірно, їх буде недостатньо для отримання статистично значущого результату експерименту. Наприклад, якщо ви проводите експеримент із новим продуктом, прогнозована тривалість експерименту й попередження можуть бути неточні. У такому разі в Play Console може з’явитися сповіщення про те, що за вибраний період можна буде отримати недостатній обсяг даних. Якщо ви бачите таке сповіщення, це означає, що для проведення експерименту бракує даних або вам потрібно додатково налаштувати його параметри. Дізнайтеся нижче, що робити, якщо обсяг даних недостатній.
І навпаки: якщо ваш експеримент триває довго, важливо пам’ятати, що на результати можуть впливати такі економічні фактори, як коливання курсу валют.
Частина 1. Додайте деталі
Щоб додати деталі експерименту, виконайте наведені нижче дії.
- Відкрийте Play Console і перейдіть на сторінку Експерименти з цінами (Монетизація > Експерименти з цінами).
- Натисніть Створити експеримент.
- У розділі "Додайте деталі" введіть назву експерименту і його короткий опис (необов’язково).
- Примітка. Користувачі не бачитимуть цю інформацію.
- Виберіть країни або регіони для експерименту.
- Важливо. Цінові експерименти проводяться у вибраних країнах і регіонах, але не на підконтрольних їм територіях. Наприклад, якщо ви виберете Францію, експеримент проводитиметься лише у Франції і не охоплюватиме, наприклад, Французьку Гвіану.
- У спадному меню Продукти виберіть продукти для експерименту. Тут буде перелічено їх назви, ідентифікатори й ціни.
- Важливо. Якщо ви виберете продукт, зв’язаний із шаблоном цін, цей шаблон буде заблоковано на період експерименту.
- Виберіть дату початку. Експеримент почнеться о 00:00 за тихоокеанським часом (PT) у вибрану дату. Ви можете запланувати запуск експерименту на потрібну дату.
- Натисніть Далі, щоб додати варіанти до експерименту.
Якщо на основі даних вашого експерименту ми визначимо, що обсягу даних буде недостатньо для досягнення статистичної значущості, ви побачите відповідне попередження. У такому разі радимо відкоригувати експеримент, щоб зібрати достатньо даних. Щоб дізнатися про можливі подальші дії, перейдіть до розділу Що робити в разі недостатнього обсягу даних.
Що робити в разі недостатнього обсягу данихЗа допомогою наведених нижче рекомендацій ви зможете змінити обсяг даних, потрібний для досягнення статистичної значущості, а отже, і скоротити тривалість експерименту.
|
Етап підготовки експерименту |
Рекомендована дія |
|---|---|
| Частина 1. Додайте деталі | Збільште кількість країн або регіонів, охоплених експериментом. |
| Частина 1. Додайте деталі | Включіть в експеримент усі продукти, що продаються через додаток, або збільште їх кількість. |
| Частина 2. Додайте варіанти | Зменште кількість варіантів із двох до одного. |
| Частина 2. Додайте варіанти |
Спробуйте зменшити ціну на більший відсоток. Примітка. Це не вплине на початковий прогноз, але допоможе під час експерименту. |
| Частина 3. Налаштуйте параметри | Збільште розмір аудиторії для кожного варіанта (наприклад, 50% для контрольного й 50% для експериментального значення). |
| Частина 3. Налаштуйте параметри |
Збільште мінімальний ефект для виявлення. Примітка. Це вплине лише на експерименти, у яких між варіантами й контрольним значенням не виявлено різниці. |
| Частина 3. Налаштуйте параметри | Знизьте рівень достовірності. |
Частина 2. Додайте варіанти
У розділі "Додайте варіанти" можна додавати й вилучати варіанти цін. У ціновому експерименті має бути принаймні один варіант. Щоб додати варіанти:
- У спадному меню виберіть Збільшити ціну або Зменшити ціну й введіть потрібний відсоток. Зверніть увагу на зазначене нижче.
- Потрібно ввести ціле число.
- Якщо ви вибрали Зменшити ціну, введіть значення від 1 до 99.
- Якщо ви вибрали Збільшити ціну, введіть значення від 1 до 999.
- Коли ви додасте варіант, на сторінці з’являться діапазони цін для контрольного значення й варіанта. Ви можете натиснути Переглянути ціни продуктів, щоб переглянути додаткові відомості, зокрема назви й ідентифікатори продуктів, території з іншою ставкою податку (якщо є) і податкову інформацію. Тут також можна переглянути фактичні зміни цін у відсотках з урахуванням курсу валют і місцевих моделей ціноутворення.
- Натисніть + Додати інший варіант і повторіть описані вище дії, щоб включити в експеримент інші варіанти. На цій сторінці також наведено діапазон цін для контрольного значення й варіантів.
- Натисніть Далі, щоб налаштувати параметри експерименту.
Частина 3. Налаштуйте параметри
У розділі "Налаштуйте параметри" можна вибрати параметри націлювання експерименту. Щоб налаштувати ці параметри:
- Укажіть аудиторію експерименту. Це відсоток користувачів, яких буде охоплено експериментом. Цих користувачів буде розподілено рівномірно між контрольним значенням і варіантами. Зверніть увагу, що користувачі поза експериментом також бачитимуть початкову (контрольну) ціну, але їх не буде включено в аналіз експерименту.
- Примітка. Потрібно ввести ціле число від 1 до 100.
- Введіть рівень достовірності. Якщо знизити рівень достовірності, це збільшить імовірність хибно-позитивного результату, а також скоротить тривалість експерименту.
- Введіть мінімальний ефект для виявлення. Він указує на рівень покращення, який потрібно виявити під час експерименту. Тобто це рівень чутливості експерименту, який впливає на прогнозований час до досягнення статистичної значущості.
- Уточніть параметри націлювання, щоб підвищити надійність експерименту. Орієнтиром може слугувати прогнозований час до досягнення статистичної значущості.
Частина 4. Запустіть експеримент
Ваш експеримент готовий до запуску. Під час експерименту в певних країнах або регіонах зміняться ціни на вибрані вами продукти, що продаються через додаток. Ви можете будь-коли завершити експеримент.
- Перш ніж запускати експеримент, візьміть до уваги наведене нижче.
- Експеримент може вплинути на дохід від вашого додатка. Зверніть увагу, що без статистичної значущості будь-яка позитивна чи негативна зміна доходу, визначена під час експерименту, може вважатися неінформативним результатом, тому радимо зачекати до досягнення статистичної значущості.
- Поки триває експеримент, ви не зможете змінити ціни на вибрані продукти, що продаються через додаток.
- Застосування результатів експерименту вплине на всі охоплені ним країни й регіони, як і на продукти, включені в нього.
- Натисніть Підтвердити й запустити.
Завершення експерименту (необов’язково)
Ви можете будь-коли завершити експеримент.
- Відкрийте Play Console і перейдіть на сторінку Експерименти з цінами (Монетизація > Експерименти з цінами).
- Відкрийте потрібний експеримент.
- Натисніть Завершити експеримент.
Після цього експериментальні ціни на вибрані продукти, що продаються через додаток, буде скинуто до початкових цін для відповідних країн і регіонів. Сторінка експерименту й дані його аналізу стануть недоступними.
За допомогою наведених вище дій можна також скасувати запланований експеримент. Експерименти, скасовані впродовж 24 годин до запланованої дати запуску, іноді тимчасово активуються.
Перегляд результатів експерименту й застосування варіантів
Важливо ознайомитися з можливими результатами експерименту й розуміти, які наслідки може мати їх застосування для вашого додатка і його цінової стратегії. Уважно прочитайте цей розділ, перш ніж застосовувати результати.
Перегляд і аналіз результатів експерименту
Якщо буде отримано статистично значущі результати, вони з’являться на сторінці аналізу експерименту, а ви отримаєте відповідне сповіщення в папці "Вхідні".
Як переглянути результат
Результат і дані аналізу експерименту можна переглянути на його сторінці. Виберіть Експерименти з цінами (Монетизація > Експерименти з цінами) і натисніть стрілку вправо біля експерименту, щоб перейти на сторінку аналізу.
Результат відображається вгорі сторінки. Розгорніть розділ Можливі результати експерименту, щоб ознайомитися з усіма результатами й дізнатися, що вони означають. Під результатом експерименту можна переглянути коротке пояснення. Наприклад, ви можете побачити результат "Варіант [X] виявився найефективнішим", а під ним – щось на кшталт "Варіант [X] продемонстрував найбільше зростання доходу". У такому разі, якщо ефективність варіанта збігається з ефективністю контрольного значення або перевищує її, ви можете застосувати його, вибравши Застосувати варіант [X]. Ціни на продукти, що продаються через додаток, буде відповідно оновлено. Щоб дізнатися більше, перейдіть до розділу Застосування варіантів.
Примітка. Експерименти завершуються автоматично через 14 днів після визначення результату. Ви також можете зробити це самостійно, натиснувши Завершити експеримент.
Як переглянути допоміжні дані
Під результатом відображається таблиця з даними, на яких ґрунтується статистичний результат. У таблиці наведено варіанти, дохід, порівняння доходу з контрольним значенням (зокрема у відсотках) і довірчий інтервал для варіантів. Щоб дізнатися визначення показників, доступних на сторінці аналізу експерименту, розгорніть розділ Визначення показників.
Докладніші дані наведено в розділі "Допоміжні дані" під таблицею. За умовчанням на діаграмі відображається інформація про дохід порівняно з контрольним значенням за останню доступну дату. Затінена область представляє довірчий інтервал. На діаграмі також можна побачити, як довірчий інтервал змінювався із часом. Тривалість і дати можна налаштувати за допомогою відповідних фільтрів у верхньому правому куті діаграми.
Крім того, за допомогою фільтра у верхньому лівому куті діаграми можна включити такі показники: "Дохід", "Замовлення", "Покупці", "Частка покупців" і "Середній дохід від платного користувача" (їх також описано в розділі Визначення показників). Якщо ви виберете інший показник, на діаграмі не буде зазначено довірчий інтервал, оскільки він обчислюється на основі доходу.
Щоб переглянути докладнішу інформацію про продукт, можна також експортувати результати експерименту у форматі CSV. Поля, формат і приклади для визначень показників, експортованих у форматі CSV, наведено в розділі Визначення показників (експорт файлу CSV).
Застосування варіантів
Перш ніж застосувати варіант, зверніть увагу на наведене нижче.
- Якщо принаймні один продукт, що продається через додаток, зв’язано із шаблоном цін, то із застосуванням варіанта буде оновлено ціни в країнах і регіонах експерименту, а такі продукти буде від’єднано від шаблонів.
- Варіант можна застосувати лише до всіх продуктів, що продаються через додаток, і в усіх країнах та регіонах, охоплених експериментом. Ми обчислюємо статистичну значущість для експерименту загалом, тому не можемо гарантувати той самий результат і ефект, якщо варіант ціни буде застосовано лише до частини країн чи регіонів (або частини продуктів, що продаються через додаток).
Якщо ефективність варіанта збігається з ефективністю контрольного значення або перевищує її, ви можете застосувати такий варіант, щоб оновити ціни. Для цього:
- Відкрийте Play Console і перейдіть на сторінку Експерименти з цінами (Монетизація > Експерименти з цінами).
- Біля потрібного варіанта натисніть Застосувати варіант.
Ціни додатка зміняться відповідно до налаштувань варіанта. Експеримент завершиться автоматично через 14 днів після визначення результату. Ви також можете зробити це самостійно, натиснувши Завершити експеримент.
Можливі результати експериментуЕксперимент може мати різні результати, які визначать ваші подальші дії.
| Результат експерименту | Значення | Примітки або рекомендації |
|---|---|---|
| Варіант [X] виявився найефективнішим | Варіант [X] продемонстрував статистично значущий результат завдяки найвищим показникам збільшення доходу. | Застосуйте варіант [X], оскільки він значно ефективніший за контрольне значення й інші варіанти. |
| Обидва варіанти виявились ефективнішими, ніж контрольне значення | Обидва варіанти продемонстрували кращі показники доходу, ніж контрольне значення. Перегляньте результати й вирішіть, який варіант застосувати. | Вирішіть, який варіант застосувати. |
| Контрольне значення й варіанти виявились однаково ефективними | Жоден варіант не продемонстрував кращих показників доходу, ніж контрольне значення. | Під час експерименту було зібрано достатньо даних і не виявлено різниці між контрольним значенням і варіантами. |
| Контрольне значення виявилося найефективнішим | Контрольне значення продемонструвало кращі показники доходу, ніж обидва варіанти. | Це означає, що у вас уже оптимальні ціни для країн і продуктів, включених в експеримент. Використовуйте контрольну ціну для продуктів і країн, які було охоплено експериментом. |
| Потрібно більше даних | Експеримент триває. Для статистично значущого результату потрібно більше даних. | Дізнайтеся, що робити в разі недостатнього обсягу даних. |
| Непереконливий результат | Експеримент зупинено передчасно, або вичерпався відведений на нього час (6 місяців). Для статистично значущого результату потрібно більше даних. Спробуйте запустити новий експеримент з іншими налаштуваннями. | Дізнайтеся, що робити в разі недостатнього обсягу даних. Це може свідчити про те, що покупці не реагують на змінення цін на продукти, що продаються через додаток, у країнах або регіонах експерименту. |
У цій таблиці наведено визначення показників, доступних на сторінці аналізу експерименту.
| Показник | Визначення |
|---|---|
| Дохід від усіх продуктів | Валовий дохід від учасників експерименту, які придбали продукти в додатку (зокрема не включені в експеримент), за вказаний період. |
| Середній дохід від платного користувача (ARPPU) | Загальний валовий дохід від продажу продуктів у додатку, поділений на кількість унікальних покупців (користувачів, які придбали принаймні один продукт у додатку, зокрема не включений в експеримент), за вказаний період. Цей показник допомагає визначити цінність покупців для вашого бізнесу. |
| Частка покупців (28 днів) |
Відсоток активних користувачів за місяць, які придбали принаймні один продукт через додаток протягом експерименту. Сюди належать продукти, які не включено в експеримент. Примітка. Це ключовий показник для аналізу конверсій покупців і розширення бази користувачів платної версії. |
| Покупці | Унікальні користувачі, які придбали принаймні один продукт у додатку за експериментальною ціною протягом вказаного періоду. |
| Дохід від користувачів, які вперше встановили додаток | Валовий дохід від користувачів, які вперше встановили додаток на будь-якому пристрої після початку експерименту й уперше побачили експериментальну ціну. Зверніть увагу, що деякі користувачі можуть відмовитися надавати цю інформацію. |
| Замовлення | Кількість продуктів, які включено в експеримент, придбаних через додаток під час експерименту за вказаний період. |
| Дохід | Валовий дохід від учасників експерименту, які придбали продукти в додатку, включені в експеримент, за вказаний період. |
У цій таблиці наведено поля, формат і приклади для визначень показників, експортованих у форматі CSV.
|
Поле |
Формат | Приклади й примітки |
|---|---|---|
| Date (Дата) | Текстовий рядок |
Дата замовлень за тихоокеанським часом (у форматі МММ ДД РРРР). |
| SKU ID (Артикул) | Текстовий рядок |
Зазначений розробником унікальний ідентифікатор продукту, що продається через додаток. |
| Product Title (Назва продукту) | Текстовий рядок |
Зазначена розробником назва продукту, що продається через додаток. |
| Country (Країна) | Текстовий рядок |
Унікальний код країни для відповідних показників продуктів, що продаються через додаток. |
| Experiment Arm (Група експерименту) | Текстовий рядок |
Група експерименту для відповідних показників продуктів, що продаються через додаток. |
| Developer Currency (Валюта розробника) |
Текстовий рядок |
Валюта, у якій оформлено замовлення. Це місцева валюта, у якій ви отримуєте виплати. |
| Revenue (Дохід) | Числове значення |
Загальний валовий дохід від продажу вибраного продукту в додатку з урахуванням дати, країни й групи експерименту. |
| New Installer Revenue (Дохід від користувачів, які вперше встановили додаток) | Числове значення |
Валовий дохід від користувачів, які вперше встановили додаток на будь-якому пристрої після початку експерименту й уперше побачили ціну (з урахуванням продукту, що продається через додаток, дати, країни й групи експерименту). Зверніть увагу, що деякі користувачі можуть відмовитися надавати цю інформацію. |
| Orders (Замовлення) | Числове значення |
Загальна кількість замовлень продукту, що продається через додаток, з урахуванням дати, країни й групи експерименту. |
| Buyers (Покупці) | Числове значення |
Загальна кількість покупців вибраного продукту з урахуванням дати, країни й групи експерименту. Покупці – це користувачі, які придбали продукт, що продається через додаток, під час експерименту. |
Поширені запитання
У яких країнах і регіонах можна проводити експерименти?Експерименти можна проводити в країнах і регіонах, які відповідають таким критеріям:
- ви вже опублікували в них додаток (зокрема у версіях для внутрішнього тестування);
- у них підтримується місцева валюта.
Якщо обсяг даних недостатній, дані не відображаються. Крім того, деякі дані на цій сторінці з’являються із затримкою в сім днів.
Так. Зверніть увагу: під час експерименту з продуктом, який зв’язано із шаблоном цін, ви не можете змінювати ціни для країн або регіонів експерименту. Проте ви можете змінювати ціни для інших країн і регіонів.
Якщо ви вирішите застосувати нові ціни наприкінці експерименту, усі продукти, що продаються через додаток, буде від’єднано від відповідних шаблонів цін, а самі шаблони не зміняться. Щоб застосувати результати експерименту, не від’єднуючи продукти, що продаються через додаток, від шаблонів цін, оновіть ціни на сторінці Шаблони цін (Налаштування > Шаблони цін).
Щоб дізнатися більше, прочитайте статтю про шаблони цін.
Ні. Експериментальні ціни не можуть виходити за межі діапазонів, визначених для кожної країни або регіону. Якщо під час підготовки експерименту ви вкажете ціну, наближену до одного з порогових значень, буде автоматично застосовано мінімальну або максимальну ціну діапазону. Щоб дізнатися, які валюти й діапазони цін підтримуються в різних країнах, прочитайте статтю Країни й регіони, де можна розповсюджувати додатки для користувачів Google Play.
Ні, для цього можна використовувати будь-яку версію платіжної системи Google Play.
Усі замовлення, оформлені під час експерименту, відображаються в доступних для завантаження щомісячних фінансових звітах (звіти про приблизний обсяг продажів і доходи). Ви можете переглянути, які продукти, що продаються через додаток, було придбано за контрольною та експериментальною цінами в країнах і регіонах, охоплених експериментом.
Щоб отримати значущі результати, не радимо паралельно проводити інші експерименти на основі А/B-тестування. Наприклад, Firebase працює незалежно від цінових експериментів у Play Console, тому будь-яке втручання у відповідні продукти, що продаються через додаток, може вплинути на надійність результатів експерименту.
Для обчислення довірчих інтервалів ми використовуємо метод складано-ножевої перевибірки (статистичний інструмент, який дає змогу оцінити дисперсію за допомогою повторної вибірки). Після цього ми застосовуємо змішані послідовні оцінювання ймовірності, щоб контролювати надмірну частоту хибно-позитивних результатів безперервного моніторингу. Коли довірчий інтервал не перетинається з 0, це вказує на статистичну значущість.
Щоб проводити цінові експерименти, потрібні дозволи Керування сторінкою додатка й Перегляд фінансових даних.
Експеримент завершується автоматично через 14 днів після досягнення статистично значущого результату або через 6 місяців після запуску (максимальна тривалість). Ми зупиняємо експеримент не на основі прогнозованої тривалості, визначеної під час його підготовки, а через 14 днів після досягнення статистично значущого результату, щоб ви могли застосувати нові ціни. Після завершення експерименту ціни скидаються до початкових.
Ні. Під час експерименту користувач бачитиме лише одну ціну.
Ні, оскільки після запуску експеримент починає збирати дані на основі початково вибраних параметрів. Ви можете паралельно запустити інший експеримент із додатковими країнами й регіонами або завершити поточний експеримент і створити новий. Зверніть увагу: якщо ви хочете створити експеримент із тими самими продуктами або країнами чи регіонами, які охоплено поточним експериментом, потрібно зачекати 30 днів.
Статистична значущість обчислюється сукупно для всіх експериментальних продуктів, а також країн і регіонів. Якщо ви хочете відкоригувати ціну для певної країни, радимо спочатку провести експеримент спеціально для неї.
Так, експериментальну ціну можна застосувати навіть після того, як ціни буде скинуто до початкових.
Якщо експериментальні ціни на продукти, що продаються через додаток, не приносять дохід, який істотно відрізняється від контрольного значення, або під час експерименту зібрано недостатньо даних, результат вважається непереконливим. Це може означати, що покупці не зважають на таку різницю в ціні.
Загалом більша вибірка дає більшу статистичну потужність. Якщо ви плануєте поекспериментувати з одним із найпопулярніших продуктів, тоді може бути доцільно провести тестування лише цього продукту. Інакше радимо включати в тестування кілька продуктів, що продаються через додаток, щоб підвищити потужність експерименту.
Якщо у вашому додатку є кілька продуктів, які певною мірою взаємозамінні (наприклад, 0,99 дол. США за 60 одиниць ігрової валюти й 4,99 дол. США за 300 одиниць ігрової валюти), радимо включити в експеримент обидва продукти, щоб уникнути канібалізації (зменшення обсягу продажів одного з продуктів).
Загалом ми радимо проводити одноваріантні експерименти, де продукти з початковими цінами використовуються як контрольне значення, а продукти зі зниженими цінами – як варіант. Експеримент із двома варіантами означає, що, крім продуктів із початковими цінами, у вас є два варіанти цих самих продуктів із двома різними цінами. Результати таких експериментів може бути складно тлумачити, і їм потрібно більше часу, ніж одноваріантним експериментам, щоб досягти статистичної значущості.
Якщо довірчий інтервал не містить нульового значення ефекту, ми вважаємо це статистично значущим результатом. У нашому випадку ефект – це різниця у витратах на придбання продукту за контрольною і експериментальною цінами.
Нижче наведено приклад довірчого інтервалу з переконливим позитивним результатом.
Нижче наведено приклад довірчого інтервалу з переконливим негативним результатом.
Нижче наведено приклад довірчого інтервалу з непереконливим результатом, для якого потрібно більше даних.
Так. Ми постійно стежимо за підміною місцезнаходження користувачів і вживаємо заходів для пом’якшення впливу на наших розробників і їхні продукти.
Матеріали за темою
- Дізнайтеся більше про цінові експерименти й пов’язані з ними функції.
- Пройдіть курс про цінові експерименти в Академії Google Play.