В этой статье приведены рекомендации для экспериментов по повышению эффективности приложений.
Содержание
- Подготовка к проведению эксперимента
- Настройка эксперимента
- Проведение эксперимента
- Завершение эксперимента
Подготовка к проведению эксперимента
Узнайте, как эксперимент поможет решить ваши задачи
С помощью экспериментов по повышению эффективности приложений можно выяснить, как добавление видеообъектов в существующую кампанию отразится на ее результатах.
-
При проведении эксперимента по повышению эффективности приложения мы рекомендуем использовать следующие подходы (в зависимости от ваших задач):
- Попробуйте добавить видео. Если в вашей кампании ещё не используется видео, эксперимент по повышению эффективности приложения поможет вам выяснить, как улучшатся результаты кампании после добавления в нее видеообъекта.
- Выберите наилучший из видеообъектов на основе промежуточных результатов. Если у вас есть несколько видеообъектов, эксперимент по повышению эффективности приложения поможет вам выяснить:
- повышают ли эффективность все видеообъекты совокупно;
- как влияет на эффективность каждый видеообъект в отдельности.
Минимальные бюджет и ставка
Мы рекомендуем выбрать бюджет и ставку, которые позволят получать в кампании по крайней мере 100 конверсий в день (в идеале 150 и больше). Благодаря этому у наших моделей будет достаточно данных для оптимизации кампаний. Подобрать правильные значения можно с помощью симуляторов для стратегий интеллектуального назначения ставок.
- Чем больше конверсий в день регистрируется в эксперименте, тем быстрее вы получите статистически значимые результаты.
- Если в исходной кампании много видеообъектов (около 50 или больше), то для ежедневной оценки каждого объекта потребуется гораздо больший бюджет.
Целевое значение для стратегии назначения ставок (целевая цена за установку/взаимодействие или целевая рентабельность инвестиций в рекламу)
Если кампания ограничена бюджетом, убедитесь, что фактическая цена за установку/взаимодействие или рентабельность инвестиций в рекламу не более чем в два раза ниже целевого значения. Это позволит избежать таких проблем, как холодный запуск и снижение ставок.
В целом, если кампания не ограничена ни бюджетом, ни ставками, вы быстрее получите результаты и они будут более точными.
Проверьте существующие видеообъекты
Если кампания ограничена бюджетом
- Если в существующей кампании с видеообъектами или без них не расходуется бюджет, то добавление новых видеообъектов, скорее всего, не поможет повысить эффективность.
- Увеличьте бюджет настолько, чтобы убрать это ограничение, а затем решите, нужно ли проводить эксперимент по повышению эффективности.
Если кампания не ограничена бюджетом
- Если в существующей кампании есть видеообъекты, но на них расходуется лишь незначительная доля бюджета, то добавление новых видеообъектов, скорее всего, не поможет повысить эффективность.
- Увеличьте целевую цену за конверсию (или снизьте целевую рентабельность инвестиций в рекламу) настолько, чтобы на видеообъекты расходовалась существенная доля бюджета, а затем решите, нужно ли проводить эксперимент по повышению эффективности.
Настройка эксперимента
Цели эксперимента
- Мы рекомендуем выбирать для эксперимента показатели, соответствующие целям оптимизации кампании.
- Например, если кампания ориентирована на установки, выберите показатель "Количество установок" или "Цена за установку".
- Если кампания не ограничена бюджетом, то вместо количества конверсий лучше выбрать цену за конверсию (установку или действие в приложении).
Экспериментальная группа
- В большинстве случаев рекомендуется разделять трафик и бюджет между контрольной и экспериментальной группами поровну – это позволяет получать результаты максимально быстро и с наименьшими затратами.
- В некоторых случаях (например, если вы опасаетесь, что тестируемые объекты могут существенно снизить эффективность) будет целесообразно использовать другое соотношение. Так, на пробную кампанию можно выделить 40 % трафика, а на исходную – 60 %.
Уровень достоверности
- Мы рекомендуем использовать уровень достоверности 80 %. Он обеспечивает достаточно высокую точность результатов за более короткое время и с меньшими расходами, чем уровни 85 % и 95 %.
- Если вы не знаете, какой уровень достоверности выбрать, посмотрите таблицу в приложении. В ней указано, сколько конверсий нужно получить для каждого уровня.
Даты эксперимента
- Мы рекомендуем по возможности проводить эксперимент в течение 30 дней, так как это увеличит вероятность получения надежных результатов.
Проверка состояния эксперимента
- Проверка состояния эксперимента – это серия мероприятий по диагностике, позволяющая увеличить вероятность получения надежных результатов. Мы рекомендуем устранять серьезные проблемы (выделенные красным цветом), такие как использование приложения для iOS (пока не поддерживается), и стараться устранять проблемы средней значимости (выделенные желтым цветом), такие как недостаточный бюджет. Подробнее о проверке состояния при создании эксперимента по повышению эффективности приложения…
Общие рекомендации
Взаимодействие с другими кампаниями для того же приложения
- Убедитесь, что в аккаунте нет другой кампании, продвигающей то же приложение и в тех же местоположениях, что и тестируемая кампания. В противном случае они могут конкурировать между собой.
Нарушения правил
- По возможности устраните все потенциальные нарушения правил, чтобы избежать приостановки кампаний и задержки в получении результатов.
Проведение эксперимента
Изменение бюджета и цели эффективности
- Мы рекомендуем не менять эти настройки в первые семь дней эксперимента.
- Если изменить какое-либо значение все же необходимо, делайте это не за один раз, а постепенно.
Изменение объектов
- Если вам нужно изменить объекты в исходной кампании, то одновременно сделайте то же самое и в пробной.
Отслеживание результатов
- Мы рекомендуем исключить из анализа первые 5–10 дней эксперимента (с помощью селектора дат), чтобы на показатели не влиял период обучения кампании.
- Вы можете выбрать один из трех уровней достоверности: 80 %, 85 % и 95 %.
- Если вы добавили в пробную кампанию несколько видеообъектов, то в отчетах Google Рекламы можно будет посмотреть эффективность каждого из них.
Завершение эксперимента
Интерпретация результатов
- Статистически значимые результаты
- Если получены положительные результаты по обеим целям эксперимента, мы рекомендуем добавить тестируемый объект в исходную кампанию и, возможно, в другие кампании аккаунта (например, с аналогичными целями, но с другими настройками геотаргетинга). Это поможет повысить общую эффективность.
- Если получены отрицательные результаты по обеим целям эксперимента, мы рекомендуем не добавлять тестируемый объект ни в исходную, ни в другие кампании аккаунта.
- Если получены смешанные результаты по целям эксперимента, мы рекомендуем принять решение в соответствии с потребностями вашего бизнеса и требованиями к ROI. Например, если цена за установку выросла на 5 %, а количество установок – на 10 %, то подумайте, хотите ли вы получить дополнительные установки по несколько большей цене.
- Статистически незначимые результаты
- Мы рекомендуем принять решение в соответствии с потребностями вашего бизнеса и приемлемостью риска. Например, если вас устраивают промежуточные результаты (положительные, но статистически незначимые), то вы можете использовать тестируемые объекты в кампаниях. Также можно изменить объекты и провести ещё один эксперимент.
