У цій статті наведено рекомендації щодо проведення експериментів з удосконалення показників додатка.
Зміст
- Перш ніж створити експеримент
- Налаштування експерименту
- Під час проведення експерименту
- Після завершення експерименту
Перш ніж створити експеримент
Визначте, чим експеримент з удосконалення показників додатка може бути корисним саме для вас
Що таке експеримент з удосконалення показників додатка? Експерименти з удосконалення показників додатка допомагають визначити, наскільки підвищиться ефективність кампанії, якщо додати в неї відеооб’єкти.
-
Рекомендуємо наведені нижче підходи до проведення експерименту з удосконалення показників додатка залежно від вашої ситуації.
- Якщо ви ще не використовуєте відео в кампанії, експеримент з удосконалення показників додатка допоможе зрозуміти, наскільки покращиться ефективність після додавання відеооб’єкта.
- Якщо потрібно вибрати потенційно найефективніший відеооб’єкт, експеримент з удосконалення показників додатка допоможе зрозуміти:
- чи допомагають підвищити ефективність усі відеооб’єкти разом;
- наскільки приблизно кожен із відеооб’єктів допомагає підвищити загальну ефективність.
Мінімальний бюджет і ставка
Рекомендуємо призначати ставку й бюджет, завдяки яким кампанія зможе отримувати принаймні 100 (а краще понад 150) конверсій на день, щоб наші моделі точно оптимізували ваші кампанії. Використовуйте симулятори інтелектуального призначення ставок, щоб краще зрозуміти, скільки приблизно конверсій ви отримуватимете, коли зміните бюджет і ціль стратегії призначення ставок.
- Що більше конверсій зараховуватиметься щодня, то швидше експеримент принесе статистично значимі результати.
- Якщо основна кампанія містить багато відеооб’єктів (наприклад, понад 50), то бюджет, необхідний для щоденної оцінки кожного об’єкта, буде значно більшим.
Ціль стратегії призначення ставок у кампанії (цільова ціна за встановлення, цільова CPE чи цільова рентабельність витрат на рекламу)
Якщо бюджет кампанії обмежено, переконайтеся, що фактична ціна за встановлення або ціна за взаємодію не більше ніж у два рази менша за цільове значення (те саме стосується й цільової рентабельності витрат на рекламу). Це допоможе уникнути непередбачуваної поведінки в разі холодного запуску чи зниження ставок.
Загалом кампанії, не обмежені бюджетом чи ставками, швидше приноситимуть результати, і вони будуть точнішими.
Перевірте наявні відеооб’єкти
Якщо кампанію обмежено бюджетом
- Якщо в кампанії немає відео або вона не витрачає бюджет, її ефективність навряд чи покращиться після додавання нових відео.
- Спершу збільште бюджет кампанії, щоб він не обмежував її, а потім визначте, чи потрібно проводити експеримент з удосконалення показників.
Якщо кампанію не обмежено бюджетом
- Якщо в кампанії є відеооб’єкти, але вони становлять невеликий відсоток від її загальних витрат, ефективність навряд чи покращиться після додавання нових відео.
- Збільшуйте цільову ціну за конверсію (або зменшуйте цільову рентабельність витрат на рекламу), доки значна частина бюджету не витрачатиметься на наявні відеооб’єкти, а потім визначте, чи потрібно проводити експеримент з удосконалення показників.
Налаштування експерименту
Цілі експерименту
- Вибирайте показники експерименту залежно від цілей оптимізації кампанії.
- Наприклад, виберіть "Кількість встановлень" або "Ціна за встановлення", якщо кампанія оптимізується на основі встановлень.
- Якщо кампанію не обмежено бюджетом, вибирайте ціну за дію (встановлення чи дію в додатку), а не показники обсягу конверсій.
Розподіл для експерименту
- Радимо порівну розділяти трафік і бюджет у більшості випадків, щоб якнайшвидше отримати результати експерименту за менших витрат.
- Іноді варто використати інший розподіл трафіку (скажімо, 40% на пробну кампанію і 60% на основну), наприклад якщо ви вважаєте, що тестові об’єкти матимуть значний негативний вплив на показники ефективності.
Рівень достовірності
- Радимо вибирати рівень достовірності 80%, щоб отримати точні результати експерименту швидше й дешевше порівняно з рівнями достовірності 85% і 95%.
- Якщо ви не знаєте, який рівень достовірності вибрати для експерименту, скористайтеся таблицею в додатку до статті й визначте, скільки конверсій вам знадобиться, щоб досягти певного рівня.
Дати експерименту
- Рекомендуємо за можливості проводити експеримент протягом 30 днів, щоб отримати максимально переконливі результати.
Перевірка стану експерименту
- Перевірка стану надає різноманітні діагностичні дані, які допомагають із вищою ймовірністю отримати переконливі результати експерименту. Радимо усунути критичні проблеми (виділені червоним кольором), як-от використання додатка iOS, що наразі не підтримується, і спробувати вирішити решту проблем (виділені жовтим кольором), наприклад пов’язаних з обмеженим бюджетом. Дізнайтеся більше про перевірку стану нового експерименту з удосконалення показників додатка.
Загальні рекомендації
Взаємодія з іншими кампаніями, які рекламують той самий додаток
- Переконайтеся, що в обліковому записі немає іншої кампанії, що рекламує цей же додаток у тих самих місцеположеннях, щоб пробна кампанія не погіршила її показники.
Порушення правил
- За можливості усуньте порушення правил у кампаніях, оскільки через них реклама з однієї з експериментальних кампаній може не показуватись або результати з’являться із затримкою.
Під час проведення експерименту
Зміни бюджету й цілей ефективності
- Ми не рекомендуємо змінювати ці налаштування принаймні протягом перших 7 днів експерименту.
- Згодом за потреби поступово вносьте невеликі зміни щодня, а не значні й відразу.
Зміни об’єктів
- Якщо потрібно змінити об’єкт в основній кампанії, змініть його також і в експериментальній.
Відстеження експериментів
- Радимо виключити з результатів перші 5–10 днів експерименту (за допомогою засобу вибору дат), щоб період збирання даних не вплинув на показники кампанії.
- Результати експерименту можна відстежувати, використовуючи 3 рівні достовірності: 80%, 85%, 95%.
- Якщо ви додали кілька відеооб’єктів в експериментальну кампанію, то можете переглядати дані про ефективність кожного з них у звітах Google Ads.
Після завершення експерименту
Інтерпретація результатів
- Статистично значимі результати
- Якщо ви отримали позитивні результати для обох експериментальних цілей, радимо додати об’єкт в основну кампанію і за потреби в інші кампанії в обліковому записі (наприклад, ті, що мають схожі цілі, але націлені на різні місцеположення), щоб покращити загальні показники ефективності.
- Якщо ви отримали негативні результати для обох експериментальних цілей, ми не радимо додавати об’єкт у кампанії чи обліковий запис.
- Якщо ви отримали різні результати для експериментальних цілей (як позитивні, так і негативні), приймайте рішення з урахуванням потреб своєї компанії та обмежень щодо рентабельності інвестицій. Наприклад, якщо ціна за встановлення збільшилася на 5%, а кількість встановлень – на 10%, ви можете використовувати об’єкти, якщо вас влаштовує більший обсяг встановлень за дещо вищої середньої ціни за встановлення.
- Не статистично значимі результати
- Рекомендуємо приймати рішення з урахуванням потреб своєї компанії і прийнятних ризиків. Наприклад, якщо вас влаштовують приблизні результати, ви можете використовувати об’єкти, що отримали позитивні, але не статистично значимі результати. В іншому разі радимо змінити об’єкт і провести новий експеримент.
