Как интерпретировать результаты A/B-тестирования и выбрать вариант

Данные на странице группы медиации регулярно обновляются. В любой момент в течение 90 дней вы можете, основываясь на этих данных, принять решение об окончании тестирования и выбрать один из вариантов. Он будет использоваться абсолютно для всех пользователей в группе медиации.

Чтобы посмотреть и проанализировать показатели A/B-тестирования, выполните указанные ниже действия.

1. Войдите в аккаунт AdMob на странице https://apps.admob.com.
2. Нажмите Медиация на боковой панели.
3. Выберите группу медиации с A/B-тестированием, которую хотите просмотреть.

Чтобы вам было проще анализировать результаты A/B-тестирования, в отчетах Google AdMob указана разница в приведенном расчетном доходе между вариантами A и B. Приведенный расчетный доход – это примерная сумма, которую вы заработаете за 28 дней, если примените этот вариант ко всем своим пользователям. Это позволяет сравнить оба варианта в одинаковых условиях и получить более точное представление об их эффективности.

Примечание. AdMob начинает рассчитывать ваш приведенный расчетный доход через четыре дня после того, как вы запустили A/B-тестирование и получили 10 000 показов.

Чтобы узнать, насколько различаются результаты вариантов, посмотрите разницу в приведенном расчетном доходе вверху страницы A/B-тестирования.

Вы сможете посмотреть расчетный доход, эффективную цену за тысячу показов и коэффициент соответствия для вариантов А и B. Эти данные регулярно обновляются в ходе тестирования. Для удобства сравнения вам также доступны сведения об эффективности разных источников объявлений для каждого варианта.

Интерпретация результатов

После начала тестирования в AdMob сравнивается приведенный расчетный доход для обоих вариантов. Это позволяет понять, какой из них более эффективен. Как только будет выявлен вариант, стабильно показывающий более высокие результаты, он будет указан на странице A/B-тестирования. Здесь же появится рекомендация "Оставить исходный вариант" или "Применить тестовый вариант" в зависимости от того, какой из них окажется эффективнее.

Под рекомендацией также будет указано, какова вероятность того, что предлагаемый вариант действительно эффективнее. Вероятность указывается в процентах.

Лучший вариант и вероятность определяются на основе следующих критериев:

• Насколько стабильно лучший вариант показывал более высокую эффективность.
• Насколько сильно отличаются результаты вариантов.
• Сколько данных доступно. Рекомендуем выбирать рекламный блок с высоким трафиком, чтобы для тестирования было достаточно данных. Обратите внимание, что тестируемые варианты должны получить хотя бы 10 000 запросов объявлений, чтобы сервис AdMob мог определить лучший вариант.

Чем выше стабильность показателей и разница в их величине, а также чем больше данных доступно для анализа, тем более высокой будет вероятность.

Если какое-то из этих условий не будет соблюдено, AdMob не сможет выявить лучший вариант, и тогда на странице A/B-тестирования не будет указано однозначных результатов. Тем не менее вы сможете посмотреть показатели каждого из вариантов.

Если доля пользователей составляет менее 50 %, показатели для варианта B рассчитываются с помощью коэффициента. Это позволяет сравнивать сопоставимые величины, имитируя условия, при которых доли пользователей одинаковы.

Например, если для варианта B настроена доля пользователей 10 %, расчетный доход будет умножен на 9. Таким образом, вы сможете сравнить оба варианта на одинаковых условиях. Следовательно, если вариант B принес 10 долл. США, его расчетный доход с учетом коэффициента составит 90 долл. США.

Выбор варианта

Рекомендуем проводить тестирование не менее двух недель, прежде чем остановиться на одном из вариантов. Вы можете выбрать лучший вариант в любое время в течение 90-дневного периода. Выбор варианта означает, что он будет использоваться абсолютно для всех пользователей в группе медиации. Принимая решение, обратите внимание на разницу показателей расчетного дохода и процент вероятности.

Вы можете оставить вариант A или применить вариант B.

• Чтобы выбрать вариант A, нажмите Оставить. Настройки группы медиации останутся прежними.
• Чтобы выбрать вариант B, нажмите Применить. К аккаунту будут применен этот вариант.

Если до истечения 90-дневного периода вы не выберете ни один из вариантов, тестирование будет прекращено, после чего абсолютно для всех пользователей будет использоваться вариант А, даже если вариант B более эффективный.

После окончания эксперимента у вас будет ещё 30 дней на то, чтобы выбрать вариант. После этого вариант B будет удален.

Примечание. Подробную информацию об A/B-тестировании можно найти в отчете по медиации.