A/B-тестирование страниц приложений в Google Play

Оптимизируйте страницу своего приложения в Google Play, подобрав наиболее эффективные локализованные тексты и изображения с помощью экспериментов. Их можно проводить как с основной страницей, так и со специальными.

Например, вы можете сравнить разные версии приложения с текущей и понять, какой вариант пользователи будут охотнее устанавливать. Прежде чем настраивать тестирование, ознакомьтесь с рекомендациями для проведения эффективных экспериментов.

Примечание. Глобальные эксперименты переименованы в эксперименты с графическими объектами по умолчанию. При этом их функции остаются прежними.

Типы экспериментов

Для приложения можно проводить один эксперимент с графическими объектами по умолчанию или до пяти экспериментов с локализованными версиями.

Эксперименты с графическими объектами по умолчанию

Эксперименты этого типа позволяют тестировать графические объекты на языке по умолчанию. Вы можете добавить несколько вариантов значка приложения, баннера, скриншотов и промороликов.

• Если страница приложения в Google Play доступна только на одном языке, эксперимент с графическими объектами по умолчанию увидят все пользователи.
• Если вы добавили графические объекты, локализованные на определенный язык, то пользователи, просматривающие страницу на этом языке, не увидят эксперимент с графическими объектами по умолчанию. Предположим, что язык приложения по умолчанию – русский, но вы перевели баннер на французский. В этом случае пользователи, которые просматривают страницу на французском языке, будут исключены из эксперимента, даже если вы тестируете только значок приложения.

Эксперименты с локализованными версиями (для текста и изображений)

Этот тип эксперимента позволяет тестировать значки приложения, баннеры, скриншоты и проморолики. Вы также можете тестировать описания приложения на пяти языках. В эксперименте будут участвовать пользователи, просматривающие страницу приложения на выбранных вами языках.

Эксперименты для одного языка увидят только те пользователи, которые открывают страницу приложения на этом языке.

Шаг 1. Создайте эксперимент

Вы можете создать эксперимент с помощью Play Console. Когда вы будете готовы посмотреть и применить результаты, используйте приложение Play Console или его веб-версию.

Графические объекты по умолчанию

1. Откройте Play Console.
2. Выберите приложение.
3. В меню слева нажмите Настройки страницы приложения > Эксперименты со страницей приложения.
4. Нажмите Создать эксперимент.
5. В разделе "Эксперимент с графическими объектами по умолчанию" нажмите кнопку Создать.
6. Чтобы задать настройки эксперимента, следуйте инструкциям из второго шага.

Локализованная версия

1. Откройте Play Console.
2. Выберите приложение.
3. В меню слева нажмите Настройки страницы приложения > Эксперименты со страницей приложения.
4. Нажмите Создать эксперимент.
5. Выберите язык в разделе "Локализовано".
6. Нажмите Создать.
7. Чтобы задать настройки эксперимента, следуйте инструкциям из второго шага.

Вы можете запустить эксперимент на пяти языках одновременно. Чтобы добавить другой язык, сделайте следующее:

1. Вернитесь в раздел Эксперименты со страницей приложения.
2. Выберите Новый эксперимент.
   • Если этот параметр недоступен, убедитесь, что у вас нет сохраненных проектов экспериментов. Чтобы добавить перевод на другой язык, сначала запустите все существующие проекты.

Шаг 2. Задайте настройки

Создав эксперимент, вы можете выбрать страницу приложения, варианты и атрибуты, которые нужно протестировать.

Вот как это сделать:

1. Следуя инструкциям на экране, выберите страницу приложения в Google Play, укажите данные для таргетинга, атрибуты и варианты.
   • Ознакомьтесь с подробной информацией о настройках в таблице ниже.
2. Чтобы запустить тестирование, нажмите Начать эксперимент в верхней части страницы.
3. Вы также можете сохранить эксперимент и провести его позже.

Описания полей, примеры и рекомендации

Поле	Описание	Примеры и рекомендации
Название	Название эксперимента будет показано только в Play Console. Пользователи его не увидят.	"Светящийся значок" "Значок логотипа" "Краткое описание с новым слоганом"
Название страницы приложения	Страница приложения (основная или специальная), которую нужно протестировать.	Тестируемая специальная страница приложения будет отображаться с названием, которое у нее было на момент запуска эксперимента. Если обновить название позже, в эксперименте это не отобразится. Чтобы избежать путаницы при проведении экспериментов, рекомендуем удалять неиспользуемые специальные страницы приложения и создавать новые при надобности.
Аудитория	Число пользователей (в процентах), которые видят вариант эксперимента. Выбранное число пользователей будет поровну распределено между вариантами эксперимента.	Если вы установите значение 30%, остальные 70% посетителей страницы будут видеть ее текущую версию. Если вы выбрали 30% аудитории и два варианта эксперимента, на каждый из них придется по 15% пользователей. Во время эксперимента для каждого пользователя будет доступна только одна версия страницы.
Атрибуты	Атрибуты, которые вы хотите протестировать.	Чтобы эксперимент прошел максимально успешно, тестируйте не больше одного атрибута за раз. Полное и краткое описания можно тестировать только во время эксперимента с локализованными версиями. Если вы тестируете графические объекты, убедитесь, что их размер и формат соответствуют этим требованиям.
Варианты	Версии тестируемого атрибута. Чтобы загрузить ещё одну версию, нажмите Добавить вариант.	Вы можете добавить до трех вариантов в рамках одного эксперимента.

Шаг 3. Проанализируйте результаты и примените их

Информацию о настроенных экспериментах можно просматривать в разделе Эксперименты со страницей приложения. Чтобы увидеть подробную информацию, нажмите на нужный эксперимент.

Активные эксперименты

• Эксперимент: название эксперимента.
• Статус: количество вариантов, показываемых выбранной группе пользователей.
• Дата начала: дата запуска эксперимента.

• Результаты: статус результатов эксперимента или его данных.

Завершенные эксперименты

• Эксперимент: название эксперимента.
• Тип: с графическими объектами по умолчанию или локализованными версиями.
• Дата начала: дата запуска эксперимента.
• Дата окончания: дата окончания эксперимента.
• Результаты: применен или нет.

На сайте Play Console

1. Откройте Play Console.
2. Выберите приложение.
3. В меню слева нажмите Страница приложения > Эксперименты со страницей приложения.
4. Выберите эксперимент.
5. В разделе "Показатели" выберите нужный показатель.
6. Просмотрите результаты.
   • Чтобы применить тестовый вариант, который оказался эффективнее текущего, нажмите Использовать лучший вариант. Вы можете посмотреть изменения перед применением.
   • Если вы хотите оставить текущую версию приложения, выберите Вернуться к оригиналу. После этого эксперимент завершится.
   • Если ни один из тестовых вариантов по своей эффективности не превзошел текущий, рекомендуем остановить эксперимент.

Примечание. Эффективность отдельных вариантов может отличаться для разных показателей. Поэтому просмотрите все доступные показатели, прежде чем выбрать лучший вариант эксперимента.

В приложении Play Console

1. Откройте приложение Play Console .
2. Выберите приложение.
3. Прокрутите экран вниз до раздела "Эксперименты". Чтобы узнать больше об экспериментах выбранного приложения, нажмите Подробнее. После этого можно открыть вариант эксперимента и узнать его аудиторию, число установок и взвешенное число установок.
   • Чтобы применить тестовый вариант, который оказался эффективнее текущего, нажмите Использовать лучший вариант. Вы можете посмотреть изменения перед применением.
   • Если вы хотите оставить текущую версию приложения, выберите Вернуться к оригиналу. После этого эксперимент завершится.

Примечание. Показатели эффективности рассчитываются для пользователей, впервые установивших приложение. Результаты по другим показателям можно посмотреть на сайте Play Console.

 

Описание показателей и примеры

Выбрав эксперимент, вы можете посмотреть показатели по пользователям и установкам, чтобы оценить эффективность каждого варианта.

Показатели по пользователям

Показатель	Описание
Пользователи, впервые установившие приложение	Уникальные пользователи, которые впервые установили приложение во время проведения эксперимента. Данные указаны с учетом доли аудитории.
Пользователи, установившие и не удалившие приложение (в течение 1 дня) – доступно только на сайте Google Play	Уникальные пользователи, которые впервые установили приложение и не удалили его в течение одного дня во время проведения эксперимента. Данные указаны с учетом доли аудитории.

Результаты

Данные по результатам эксперимента представлены в двух форматах:

• на текущий момент – количество уникальных пользователей;
• взвешенное количество – отношение количества уникальных пользователей к доле аудитории.

Чтобы узнать общее количество пользователей, установивших приложение, просмотрите данные на текущий момент. Чтобы узнать количество пользователей с учетом доли аудитории (например, если 90 % аудитории видело одну версию приложения, а 10 % – другую), просмотрите взвешенные данные.

Показатель	Описание и примеры
Установки	Количество уникальных пользователей, которые впервые установили приложение.
Пользователи, установившие и не удалившие приложение	Количество уникальных пользователей, которые впервые установили приложение и не удалили его в течение одного дня.
Исполнение	Ожидаемая эффективность экспериментальной версии страницы по сравнению с текущей. Показатель средней эффективности находится в указанном диапазоне с вероятностью 90%. Показатели эффективности могут меняться в течение эксперимента. Коэффициент ожидаемой эффективности экспериментальной версии – это среднее арифметическое значение между наибольшим изменением в количестве скачиваний и наименьшим. Например, если эффективность экспериментальной версии находится в диапазоне от +5% до +15%, то ожидаемая эффективность, скорее всего, будет иметь значение +10%. Эффективность будет показана, если собрано достаточное количество данных. Чем больше времени уйдет на проведение эксперимента и сбор информации, тем точнее будут результаты.
Установки (взвешенное количество) – больше не поддерживается	Отношение количества установок, выполненных в ходе эксперимента, к доле аудитории. Доступно для экспериментов, начатых до 24 января 2019 года. Например, вы запустили эксперимент с двумя вариантами, в котором были задействованы доли аудитории 90 % и 10 %, а количество установок для каждого варианта составило A = 900 и B = 200. Взвешенное количество установок будет соответственно A = 1000 (900/0,9) и B = 2000 (200/0,1).
Установки (на текущий момент) – больше не поддерживается	Количество установок на текущий момент. Доступно для экспериментов, начатых до 24 января 2019 года.

Показатели по установкам (больше не поддерживается)

Показатели по установкам доступны для экспериментов, начатых до 24 января 2019 года. В новых экспериментах можно просматривать только данные по пользователям, установившим приложение впервые или не удалившим его в течение одного дня после установки.

Показатель	Описание и примеры
Количество установок на активных устройствах	Количество активных устройств, на которых установлен каждый вариант приложения, с учетом разницы размеров аудитории.
Установок (пользователей)	Количество уникальных пользователей, установивших разные варианты приложения в указанный день, с учетом разницы размеров аудитории.
Удалений (пользователей)	Количество удалений каждого варианта приложения в указанный день, с учетом разницы размеров аудитории.

Эксперименты с показателями, которые больше не поддерживаются

С сентября 2019 года эксперименты с показателями, которые больше не поддерживаются, будут автоматически прекращены. Учитывайте это при планировании тестирования и используйте актуальные показатели.

Посмотреть результаты можно в разделе Проведенные эксперименты на странице Эксперименты со страницей приложения.

Как получать уведомления об эксперименте

Чтобы узнавать о завершении экспериментов по электронной почте и с помощью уведомлений, настройте нужные параметры в Play Console.

Подробнее об управлении данными в аккаунте разработчика…