Мы внесли изменения в методику проведения экспериментов со страницей приложения в Play Console. Теперь разработчики могут получать статистику с более высокой робастностью и лучше контролировать эффективность страницы. Добавлены три новые возможности:
- настройка параметров экспериментов;
- калькулятор для оценки необходимой выборки и сроков эксперимента;
- доверительные интервалы для непрерывного отслеживания экспериментов.
Мы обновили эту статью согласно указанным изменениям.
Функции, описанные ниже, пока доступны не всем разработчикам.
Эксперименты помогут вам выбрать самые эффективные варианты изображений и текста, чтобы оптимизировать страницу приложения в Google Play. Их можно проводить как с основной, так и со специальными страницами.
Если страница уже опубликована, вы можете сравнить ее с несколькими тестовыми версиями и выбрать лучшую исходя из количества установок. Прежде чем настраивать тестирование, ознакомьтесь с рекомендациями по эффективному проведению экспериментов.
Примечание. Глобальные эксперименты переименованы в эксперименты с графическими объектами по умолчанию. При этом их функции остаются прежними.
Типы экспериментов
Для приложения можно проводить один эксперимент с графическими объектами по умолчанию или до пяти экспериментов с локализованными версиями.
Эксперименты с графическими объектами по умолчаниюЭксперименты этого типа позволяют тестировать графические объекты на языке по умолчанию. Вы можете добавить несколько вариантов значка приложения, картинки для описания, скриншотов и промовидео.
- Если страница приложения в Google Play доступна только на одном языке, в эксперименты этого типа включаются все пользователи.
- Если какие-то графические объекты локализованы на тот или иной язык, то из эксперимента исключаются пользователи, просматривающие страницу на этом языке. Предположим, что язык приложения по умолчанию – русский, но картинка для описания переведена на французский. В этом случае пользователи, которые просматривают страницу на французском языке, будут исключены из эксперимента, даже если вы тестируете только значок приложения.
Эксперименты этого типа позволяют тестировать значки приложения, картинки для описания, скриншоты, промовидео и описания приложения на пяти языках. В них участвуют пользователи, просматривающие страницу приложения на выбранных вами языках.
В эксперименты для одного языка включаются только те пользователи, которые открывают страницу приложения на этом языке.
Шаг 1. Создайте эксперимент
Для этого сделайте следующее:
- Откройте Play Console и перейдите на страницу Эксперименты со страницей приложения (Развитие > Страница приложения > Эксперименты со страницей приложения).
- Нажмите Создать эксперимент.
- Укажите следующие сведения:
- Название эксперимента. Количество символов не должно превышать 50.
- Страница приложения в Google Play. Укажите страницу приложения, на которой хотите провести эксперимент.
- Тип эксперимента. Выберите между двумя значениями: Эксперимент с графическими объектами по умолчанию или Эксперимент с локализованной версией.
- Нажмите Далее.
- Перейдите к инструкциям из шага 2, чтобы настроить эксперимент.
Шаг 2. Задайте настройки
Создав эксперимент, вы можете выбрать страницу приложения, варианты и атрибуты, которые нужно протестировать.
Вот как это сделать:
- Следуя инструкциям на экране, выберите страницу приложения в Google Play и задайте цели эксперимента: целевой показатель, аудиторию, варианты и т. д.
- Ознакомьтесь с подробной информацией о настройках в разделе Описания полей, примеры и рекомендации ниже.
- Чтобы запустить тестирование, нажмите Начать эксперимент в верхней части страницы.
- Вы также можете сохранить эксперимент и провести его позже.
В ходе настройки эксперимента укажите сведения о странице приложения, приведенные ниже.
| Поле | Описание | Примеры и рекомендации |
|---|---|---|
| Название эксперимента |
Название эксперимента будет указано только в Play Console. Пользователи его не увидят. |
|
| Страница приложения в Google Play | Страница приложения (основная или специальная), которую нужно протестировать. |
Для специальных страниц всегда показываются названия, которые у них были до запуска эксперимента. Если их изменить, в эксперименте они не обновятся. Чтобы избежать путаницы при проведении экспериментов, рекомендуем удалять неиспользуемые специальные страницы приложения и создавать новые при надобности. |
В ходе настройки укажите информацию о целях эксперимента, приведенную ниже. Эти настройки влияют на точность эксперимента и на количество установок, необходимых для получения результата.
| Поле | Описание | Примеры и рекомендации |
|---|---|---|
| Целевой показатель | Показатель, который будет использоваться для определения результата эксперимента. |
Доступно два значения:
|
| Варианты | Число экспериментальных вариантов, с которыми будет сравниваться текущая версия страницы приложения в Google Play. Если вариант будет только один, эксперимент завершится быстрее. |
Добавить новый вариант можно в раскрывающемся списке. В каждый эксперимент можно включить до трех вариантов (в дополнение к текущему). |
| Аудитория эксперимента |
Процент посетителей страницы приложения, которые увидят ее экспериментальный вариант вместо текущего. Они будут распределены поровну между экспериментальными вариантами страницы. |
Если вы установите значение 30 %, остальным 70 % посетителей страницы будет показываться ее текущая версия. Если вы выберете 30 % аудитории и два варианта эксперимента, на каждый из них придется по 15 % пользователей. Во время эксперимента каждый пользователь увидит только один вариант страницы. |
| Минимальная определяемая разница | Минимальная разница между вариантами страницы и контрольной версией. По этому показателю можно определить, какой из вариантов эффективнее. Если разница меньше этого значения, эффективность всех версий считается одинаковой. | |
| Доверительная вероятность | Частота, с которой используемый в эксперименте доверительный интервал будет содержать истинное значение эффективности страницы приложения в Google Play. |
Если повысить уровень доверительной вероятности, уменьшится возможность получения ложноположительного результата. Примечание. Доверительная вероятность в 90 % означает, что каждый десятый эксперимент может показать ложноположительный результат. |
|
Атрибуты |
Атрибуты, которые вы хотите протестировать. |
Чтобы эксперимент прошел максимально успешно, тестируйте по одному атрибуту за раз. Полное и краткое описания можно тестировать только во время эксперимента с локализованными версиями. Если вы тестируете графические объекты, соблюдайте требования к размеру и формату. |
При указании информации о целях эксперимента вы можете настроить ожидаемые ежедневные показатели из таблицы ниже, нажав Изменение расчетных показателей. Они помогают рассчитать длительность эксперимента, но могут отличаться от фактических результатов.
| Поле | Описание | Примеры и рекомендации |
|---|---|---|
| Число посещений новых пользователей за день | Ожидаемое количество посетителей страницы приложения, которые его не устанавливали. | |
| Коэффициент конверсии | Ожидаемый процент посетителей, которые будут отнесены к вашему целевому показателю. |
Например, при отслеживании пользователей, впервые установивших приложение, коэффициент конверсии означает примерный процент посетителей, которые станут такими пользователями. |
| Количество пользователей, впервые установивших приложение и не удаливших его, за день |
Ожидаемое число пользователей, которые установят приложение в первый раз и не удалят его через день. |
Ознакомьтесь с подробным описанием показателей и примеров. |
| Количество пользователей, впервые установивших приложение, за день |
Ожидаемое число пользователей, которые посетят страницу приложения в Google Play и установят его впервые. |
Ознакомьтесь с подробным описанием показателей и примеров. |
Шаг 3. Проанализируйте и примените результаты
Для этого выполните следующие действия:
- Откройте Play Console и перейдите на страницу Эксперименты со страницей приложения (Развитие > Страница приложения > Эксперименты со страницей приложения).
- Чтобы изучить эксперимент, нажмите в его строке на стрелку вправо. Подробную информацию о том, как отображаются данные, можно найти в разделе Таблицы экспериментов со страницей приложения ниже.
- В разделе "Результаты" находятся сводные данные о результатах эксперимента. Они основаны на выбранном целевом показателе.
Здесь можно узнать, какой из экспериментальных вариантов эффективнее текущей страницы приложения в Google Play, или посмотреть ее самый эффективный вариант. Вам также доступна интерпретация результата, основанная на доверительном интервале, минимальной определяемой разнице и рекомендуемом действии (если применимо). Вы можете увидеть сообщение "Требуется больше данных". Это значит, что для получения результата недостаточно информации.
- Дальнейшие действия зависят от результатов эксперимента:
- Если один из вариантов оказался наиболее эффективным, то вам могут порекомендовать применить именно его.
- Если появилось сообщение "Продолжите эксперимент, чтобы собрать больше данных", вернитесь к результатам позже.
- Если несколько вариантов оказались эффективнее текущей страницы приложения или появилось сообщение "Эффективность всех вариантов одинаковая", проанализируйте результаты самостоятельно и выберите оптимальную версию.
- Если лучший результат показала текущая страница приложения, нажмите Оставить текущую версию страницы приложения.
Информацию о настроенных экспериментах можно найти на странице Эксперименты со страницей приложения. Все сведения распределены по четырем таблицам, как указано ниже. Чтобы получить подробную информацию об эксперименте, нажмите в его строке на стрелку вправо.
Проекты
- Название эксперимента.
- Страница приложения в Google Play. Страница приложения в Google Play, на которой проводится эксперимент.
- Тип эксперимента. С графическими объектами по умолчанию или локализованной версией.
- Сведения. Число вариантов, показанных определенному проценту целевой аудитории.
Незавершенные
- Название эксперимента.
- Страница приложения в Google Play. Страница приложения в Google Play, на которой проводится эксперимент.
- Тип эксперимента. С графическими объектами по умолчанию или локализованной версией.
- Дата начала. Дата запуска эксперимента.
- Сведения. Число показанных вариантов и процент пользователей.
Выполненные
- Название эксперимента.
- Страница приложения в Google Play. Страница приложения в Google Play, на которой проводится эксперимент.
- Тип эксперимента. С графическими объектами по умолчанию или локализованной версией.
- Дата начала. Дата запуска эксперимента.
- Сведения. Число показанных вариантов и процент пользователей.
- Результат. Результат эксперимента.
Прошлые эксперименты
- Название эксперимента.
- Страница приложения в Google Play. Страница приложения в Google Play, на которой проводится эксперимент.
- Тип эксперимента. С графическими объектами по умолчанию или локализованной версией.
- Дата начала. Дата запуска эксперимента.
- Дата окончания. Дата окончания эксперимента.
- Статус. Применены ли результаты.
Выбрав эксперимент, вы можете посмотреть показатели по пользователям и установкам, чтобы оценить эффективность каждого варианта.
Пользовательские показатели
| Показатель | Описание |
|---|---|
| Пользователи, впервые установившие приложение |
Количество уникальных пользователей, которые во время эксперимента впервые установили приложение. Масштаб представления данных подбирается с учетом доли аудитории. |
| Пользователи, установившие и не удалившие приложение (в течение дня) |
Количество уникальных пользователей, которые во время эксперимента впервые установили приложение и в течение одного дня после этого не удалили его. Масштаб представления данных подбирается с учетом доли аудитории. |
| Пользователи, не отменившие предварительную регистрацию (доступно только некоторым партнерам Google Play) | Количество пользователей, которые оформили предварительную регистрацию и не отменили ее в течение одного дня. |
Результаты
Данные по результатам эксперимента представлены в двух форматах:
- на текущий момент – количество уникальных пользователей;
- взвешенное количество – отношение количества уникальных пользователей к доле аудитории.
Чтобы узнать общее количество пользователей, установивших приложение, просмотрите данные на текущий момент. Чтобы узнать количество пользователей с учетом доли аудитории (например, если 90 % аудитории видело одну версию приложения, а 10 % – другую), просмотрите взвешенные данные.
| Показатель | Описание и примеры |
|---|---|
| Эффективность |
Ожидаемая эффективность экспериментальной версии страницы по сравнению с текущей. Этот показатель появится, как только будет собрано достаточное количество данных. Чем больше времени уйдет на проведение эксперимента и сбор информации, тем точнее будут результаты. Пример. Если эффективность экспериментальной версии составляет от +5 % до +15 %, то ожидаемая эффективность находится в пределах этих чисел и, скорее всего, равна +10 %. |
| Установки (взвешенное количество) |
|
| Установки (на текущий момент) |
|
Показатели по установкам (больше не поддерживаются)
Следующие показатели использовались в экспериментах, начатых до 24 января 2019 года. В новых экспериментах можно просматривать только данные по пользователям, установившим приложение впервые или не удалившим его в течение одного дня после установки.
| Показатель | Описание и примеры |
|---|---|
| Число установок на активных устройствах |
|
| Установок (пользователей) |
|
| Удалений (пользователей) |
|
Эксперименты с показателями, которые больше не поддерживаются
С сентября 2019 года эксперименты с показателями, которые больше не поддерживаются, будут автоматически прекращены. Учитывайте это при планировании тестирования и используйте актуальные показатели.
Посмотреть результаты можно в разделе Проведенные эксперименты на странице Эксперименты со страницей приложения.
Как получать уведомления об экспериментах
Чтобы узнавать о завершении экспериментов через уведомления и по электронной почте, настройте нужные параметры на странице Уведомления в Play Console.