A/B-тестирование страниц приложений в Google Play

Мы внесли изменения в методику проведения экспериментов со страницей приложения в Play Console. Теперь разработчики могут получать статистику с более высокой робастностью и лучше контролировать эффективность страницы. Добавлены три новые возможности:

  • настройка параметров экспериментов;
  • калькулятор для оценки необходимой выборки и сроков эксперимента;
  • доверительные интервалы для непрерывного отслеживания экспериментов.

Мы обновили эту статью согласно указанным изменениям.

Функции, описанные ниже, пока доступны не всем разработчикам.

Эксперименты помогут вам выбрать самые эффективные варианты изображений и текста, чтобы оптимизировать страницу приложения в Google Play. Их можно проводить как с основной, так и со специальными страницами.

Если страница уже опубликована, вы можете сравнить ее с несколькими тестовыми версиями и выбрать лучшую исходя из количества установок. Прежде чем настраивать тестирование, ознакомьтесь с рекомендациями по эффективному проведению экспериментов.

Примечание. Глобальные эксперименты переименованы в эксперименты с графическими объектами по умолчанию. При этом их функции остаются прежними.

Типы экспериментов

Для приложения можно проводить один эксперимент с графическими объектами по умолчанию или до пяти экспериментов с локализованными версиями.

Эксперименты с графическими объектами по умолчанию

Эксперименты этого типа позволяют тестировать графические объекты на языке по умолчанию. Вы можете добавить несколько вариантов значка приложения, картинки для описания, скриншотов и промовидео.

  • Если страница приложения в Google Play доступна только на одном языке, в эксперименты этого типа включаются все пользователи.
  • Если какие-то графические объекты локализованы на тот или иной язык, то из эксперимента исключаются пользователи, просматривающие страницу на этом языке. Предположим, что язык приложения по умолчанию – русский, но картинка для описания переведена на французский. В этом случае пользователи, которые просматривают страницу на французском языке, будут исключены из эксперимента, даже если вы тестируете только значок приложения.
Эксперименты с локализованными версиями (для текста и изображений)

Эксперименты этого типа позволяют тестировать значки приложения, картинки для описания, скриншоты, промовидео и описания приложения на пяти языках. В них участвуют пользователи, просматривающие страницу приложения на выбранных вами языках.

В эксперименты для одного языка включаются только те пользователи, которые открывают страницу приложения на этом языке.

Шаг 1. Создайте эксперимент

Для этого сделайте следующее:

  1. Откройте Play Console и перейдите на страницу Эксперименты со страницей приложения (Развитие > Страница приложения > Эксперименты со страницей приложения).
  2. Нажмите Создать эксперимент.
  3. Укажите следующие сведения:
    • Название эксперимента. Количество символов не должно превышать 50.
    • Страница приложения в Google Play. Укажите страницу приложения, на которой хотите провести эксперимент.
    • Тип эксперимента. Выберите между двумя значениями: Эксперимент с графическими объектами по умолчанию или Эксперимент с локализованной версией.
  4. Нажмите Далее.
  5. Перейдите к инструкциям из шага 2, чтобы настроить эксперимент.

Шаг 2. Задайте настройки

Создав эксперимент, вы можете выбрать страницу приложения, варианты и атрибуты, которые нужно протестировать.

Вот как это сделать:

  1. Следуя инструкциям на экране, выберите страницу приложения в Google Play и задайте цели эксперимента: целевой показатель, аудиторию, варианты и т. д.
  2. Чтобы запустить тестирование, нажмите Начать эксперимент в верхней части страницы.
  3. Вы также можете сохранить эксперимент и провести его позже.
Описания полей, примеры и рекомендации

В ходе настройки эксперимента укажите сведения о странице приложения, приведенные ниже.

Поле Описание Примеры и рекомендации
Название эксперимента

Название эксперимента будет указано только в Play Console. Пользователи его не увидят.

  • "Светящийся значок"
  • "Значок и картинка описания"
  • "Краткое описание и новый слоган"
Страница приложения в Google Play Страница приложения (основная или специальная), которую нужно протестировать.

Для специальных страниц всегда показываются названия, которые у них были до запуска эксперимента. Если их изменить, в эксперименте они не обновятся.

Чтобы избежать путаницы при проведении экспериментов, рекомендуем удалять неиспользуемые специальные страницы приложения и создавать новые при надобности.


В ходе настройки укажите информацию о целях эксперимента, приведенную ниже. Эти настройки влияют на точность эксперимента и на количество установок, необходимых для получения результата.

Поле Описание Примеры и рекомендации
Целевой показатель Показатель, который будет использоваться для определения результата эксперимента.

Доступно два значения:

  • Пользователи, впервые установившие приложение и не удалившие его (рекомендуется). Количество пользователей, которые установили приложение в первый раз и не удалили его в течение одного дня.
  • Пользователи, впервые установившие приложение. Количество пользователей, которые установили приложение в первый раз, но уже могли его удалить.
Варианты Число экспериментальных вариантов, с которыми будет сравниваться текущая версия страницы приложения в Google Play. Если вариант будет только один, эксперимент завершится быстрее.

Добавить новый вариант можно в раскрывающемся списке.

В каждый эксперимент можно включить до трех вариантов (в дополнение к текущему).

Аудитория эксперимента

Процент посетителей страницы приложения, которые увидят ее экспериментальный вариант вместо текущего.

Они будут распределены поровну между экспериментальными вариантами страницы.

Если вы установите значение 30 %, остальным 70 % посетителей страницы будет показываться ее текущая версия.

Если вы выберете 30 % аудитории и два варианта эксперимента, на каждый из них придется по 15 % пользователей.

Во время эксперимента каждый пользователь увидит только один вариант страницы.

Минимальная определяемая разница Минимальная разница между вариантами страницы и контрольной версией. По этому показателю можно определить, какой из вариантов эффективнее. Если разница меньше этого значения, эффективность всех версий считается одинаковой.  
Доверительная вероятность Частота, с которой используемый в эксперименте доверительный интервал будет содержать истинное значение эффективности страницы приложения в Google Play.

Если повысить уровень доверительной вероятности, уменьшится возможность получения ложноположительного результата.

Примечание. Доверительная вероятность в 90 % означает, что каждый десятый эксперимент может показать ложноположительный результат.

Атрибуты

Атрибуты, которые вы хотите протестировать.

Чтобы эксперимент прошел максимально успешно, тестируйте по одному атрибуту за раз.

Полное и краткое описания можно тестировать только во время эксперимента с локализованными версиями.

Если вы тестируете графические объекты, соблюдайте требования к размеру и формату.


При указании информации о целях эксперимента вы можете настроить ожидаемые ежедневные показатели из таблицы ниже, нажав Изменение расчетных показателей. Они помогают рассчитать длительность эксперимента, но могут отличаться от фактических результатов.

Поле Описание Примеры и рекомендации
Число посещений новых пользователей за день Ожидаемое количество посетителей страницы приложения, которые его не устанавливали.  
Коэффициент конверсии Ожидаемый процент посетителей, которые будут отнесены к вашему целевому показателю.

Например, при отслеживании пользователей, впервые установивших приложение, коэффициент конверсии означает примерный процент посетителей, которые станут такими пользователями.

Количество пользователей, впервые установивших приложение и не удаливших его, за день

Ожидаемое число пользователей, которые установят приложение в первый раз и не удалят его через день.

Ознакомьтесь с подробным описанием показателей и примеров.
Количество пользователей, впервые установивших приложение, за день

Ожидаемое число пользователей, которые посетят страницу приложения в Google Play и установят его впервые.

Ознакомьтесь с подробным описанием показателей и примеров.

Шаг 3. Проанализируйте и примените результаты

Для этого выполните следующие действия:

  1. Откройте Play Console и перейдите на страницу Эксперименты со страницей приложения (Развитие > Страница приложения > Эксперименты со страницей приложения).
  2. Чтобы изучить эксперимент, нажмите в его строке на стрелку вправо. Подробную информацию о том, как отображаются данные, можно найти в разделе Таблицы экспериментов со страницей приложения ниже.
  3. В разделе "Результаты" находятся сводные данные о результатах эксперимента. Они основаны на выбранном целевом показателе.

    Здесь можно узнать, какой из экспериментальных вариантов эффективнее текущей страницы приложения в Google Play, или посмотреть ее самый эффективный вариант. Вам также доступна интерпретация результата, основанная на доверительном интервале, минимальной определяемой разнице и рекомендуемом действии (если применимо). Вы можете увидеть сообщение "Требуется больше данных". Это значит, что для получения результата недостаточно информации.
     
  4. Дальнейшие действия зависят от результатов эксперимента:
    • Если один из вариантов оказался наиболее эффективным, то вам могут порекомендовать применить именно его.
    • Если появилось сообщение "Продолжите эксперимент, чтобы собрать больше данных", вернитесь к результатам позже.
    • Если несколько вариантов оказались эффективнее текущей страницы приложения или появилось сообщение "Эффективность всех вариантов одинаковая", проанализируйте результаты самостоятельно и выберите оптимальную версию.
    • Если лучший результат показала текущая страница приложения, нажмите Оставить текущую версию страницы приложения.
Таблицы экспериментов со страницей приложения

Информацию о настроенных экспериментах можно найти на странице Эксперименты со страницей приложения. Все сведения распределены по четырем таблицам, как указано ниже. Чтобы получить подробную информацию об эксперименте, нажмите в его строке на стрелку вправо.

Проекты

  • Название эксперимента.
  • Страница приложения в Google Play. Страница приложения в Google Play, на которой проводится эксперимент.
  • Тип эксперимента. С графическими объектами по умолчанию или локализованной версией.
  • Сведения. Число вариантов, показанных определенному проценту целевой аудитории.

Незавершенные

  • Название эксперимента.
  • Страница приложения в Google Play. Страница приложения в Google Play, на которой проводится эксперимент.
  • Тип эксперимента. С графическими объектами по умолчанию или локализованной версией.
  • Дата начала. Дата запуска эксперимента.
  • Сведения. Число показанных вариантов и процент пользователей.

Выполненные

  • Название эксперимента.
  • Страница приложения в Google Play. Страница приложения в Google Play, на которой проводится эксперимент.
  • Тип эксперимента. С графическими объектами по умолчанию или локализованной версией.
  • Дата начала. Дата запуска эксперимента.
  • Сведения. Число показанных вариантов и процент пользователей.
  • Результат. Результат эксперимента.

Прошлые эксперименты

  • Название эксперимента.
  • Страница приложения в Google Play. Страница приложения в Google Play, на которой проводится эксперимент.
  • Тип эксперимента. С графическими объектами по умолчанию или локализованной версией.
  • Дата начала. Дата запуска эксперимента.
  • Дата окончания. Дата окончания эксперимента.
  • Статус. Применены ли результаты.
Описание показателей и примеры

Выбрав эксперимент, вы можете посмотреть показатели по пользователям и установкам, чтобы оценить эффективность каждого варианта.

Пользовательские показатели

Показатель Описание
Пользователи, впервые установившие приложение

Количество уникальных пользователей, которые во время эксперимента впервые установили приложение. Масштаб представления данных подбирается с учетом доли аудитории.

Пользователи, установившие и не удалившие приложение (в течение дня)

Количество уникальных пользователей, которые во время эксперимента впервые установили приложение и в течение одного дня после этого не удалили его. Масштаб представления данных подбирается с учетом доли аудитории.

Пользователи, не отменившие предварительную регистрацию (доступно только некоторым партнерам Google Play) Количество пользователей, которые оформили предварительную регистрацию и не отменили ее в течение одного дня.

Результаты

Данные по результатам эксперимента представлены в двух форматах:

  • на текущий момент – количество уникальных пользователей;
  • взвешенное количество – отношение количества уникальных пользователей к доле аудитории.

Чтобы узнать общее количество пользователей, установивших приложение, просмотрите данные на текущий момент. Чтобы узнать количество пользователей с учетом доли аудитории (например, если 90 % аудитории видело одну версию приложения, а 10 % – другую), просмотрите взвешенные данные.

Показатель Описание и примеры
Эффективность

Ожидаемая эффективность экспериментальной версии страницы по сравнению с текущей. Этот показатель появится, как только будет собрано достаточное количество данных. Чем больше времени уйдет на проведение эксперимента и сбор информации, тем точнее будут результаты.

Пример. Если эффективность экспериментальной версии составляет от +5 % до +15 %, то ожидаемая эффективность находится в пределах этих чисел и, скорее всего, равна +10 %.

Установки (взвешенное количество)
  • Отношение количества установок, выполненных во время эксперимента, к доле аудитории.
  • Доступно для экспериментов, начатых до 24 января 2019 года.
  • Например, вы запустили эксперимент с двумя вариантами, в котором были задействованы доли аудитории 90 % и 10 %, а количество установок для каждого варианта составило A = 900 и B = 200. Взвешенное количество установок будет соответственно A = 1000 (900/0,9) и B = 2000 (200/0,1).
Установки (на текущий момент)
  • Количество установок на текущий момент (приложение не было удалено).
  • Доступно для экспериментов, начатых до 24 января 2019 года.

Показатели по установкам (больше не поддерживаются)

Следующие показатели использовались в экспериментах, начатых до 24 января 2019 года. В новых экспериментах можно просматривать только данные по пользователям, установившим приложение впервые или не удалившим его в течение одного дня после установки.

Показатель Описание и примеры
Число установок на активных устройствах
  • Количество активных устройств, на которых установлен каждый вариант приложения, с учетом разницы размеров аудитории.
Установок (пользователей)
  • Количество уникальных пользователей, установивших разные варианты приложения в указанный день, с учетом разницы размеров аудитории.
Удалений (пользователей)
  • Количество удалений каждого варианта приложения в указанный день, с учетом разницы размеров аудитории.

Эксперименты с показателями, которые больше не поддерживаются

С сентября 2019 года эксперименты с показателями, которые больше не поддерживаются, будут автоматически прекращены. Учитывайте это при планировании тестирования и используйте актуальные показатели.

Посмотреть результаты можно в разделе Проведенные эксперименты на странице Эксперименты со страницей приложения.

Как получать уведомления об экспериментах

Чтобы узнавать о завершении экспериментов через уведомления и по электронной почте, настройте нужные параметры на странице Уведомления в Play Console.

Подробнее об управлении данными в аккаунте разработчика

Эта информация оказалась полезной?
Как можно улучшить эту статью?

Требуется помощь?

Войдите в свой аккаунт, чтобы мы могли предоставить вам дополнительные варианты поддержки и быстрее решить вашу проблему.

false
Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню
Поиск по Справочному центру
true
92637
false