Общие сведения
Эксперименты с ценами позволяют проводить A/B-тестирование, а затем на основе результатов уверенно и точно корректировать цены в приложении в соответствии с покупательной способностью на разных рынках. Эксперименты также помогают проверять на основных рынках эффективность новых уровней цен по сравнению с контрольным значением. Выбрав оптимальные цены на контент для разных регионов, вы сможете одновременно увеличивать доход и привлекать новых пользователей. Чтобы проводить ценовые эксперименты с контентом для однократных покупок, вы должны быть разработчиком и продавцом приложения.
Подготовка и проведение ценового эксперимента
Ниже вы найдете важную информацию о том, что необходимо для экспериментов, как их проводить и как анализировать результаты.
Подготовка
Прежде чем настраивать ценовой эксперимент в Play Console, прочитайте разделы ниже.
Требования- В экспериментах можно задействовать только активный контент для однократных покупок.
- Для проведения экспериментов требуются разрешения Управление страницей приложения и Просмотр финансовых данных.
Общие сведения
- Эксперимент нельзя провести для нескольких приложений одновременно.
- Максимальная продолжительность эксперимента составляет шесть месяцев. По истечении этого срока или через 14 дней после получения статистически значимого результата возвращаются исходные цены.
- Один эксперимент может охватывать не более 1000 способов покупки.
- В эксперимент нельзя добавить товары и страны, которые были задействованы в таком же эксперименте, закончившемся менее 30 дней назад.
- Приостановка эксперимента недоступна. Его можно довести до конца или завершить. Перезапустить завершенный эксперимент нельзя.
Ограничения по странам и регионам
- В одной стране или регионе нельзя проводить несколько экспериментов одновременно. Уже запущенный эксперимент необходимо остановить, прежде чем создавать эксперимент с другими товарами.
- Экспериментальные цены на товары в приложении должны находиться в установленном диапазоне. Если при настройке эксперимента вы укажете такой процент изменения цены, что ее итоговое значение выйдет за пределы диапазона, допустимого для страны или региона, процент будет автоматически скорректирован, чтобы итоговая цена сравнялась с верхней или нижней границей.
- Для каждого эксперимента можно указать не более двух вариантов цены и одно контрольное значение.
- Эксперименты проводятся в выбранных странах и регионах, но не на связанных с ними территориях с особой налоговой ставкой. Например, эксперимент во Франции не будет охватывать ее заморские территории, такие как Гваделупа, Майотта, Мартиника, Новая Каледония, Реюньон, Сен-Бартелеми, Сен-Мартен, Сен-Пьер и Микелон, Уоллис и Футуна, Французская Гвиана, Французская Полинезия.
Изменения в контенте для однократных покупок
- Чтобы изменить цену на контент, участвующий в эксперименте, потребуется завершить эксперимент. Обратите внимание на следующее:
- Исключением считается ситуация, когда вы проводите два эксперимента и применяете результаты одного из них.
- В эксперименте не участвуют контент и способы покупки, настроенные во время его проведения.
Проведение экспериментов и применение результатов
- Применять экспериментальные цены можно в любой момент, однако мы рекомендуем делать это после получения статистически значимых результатов и использовать только ту цену, которая оказалась эффективнее контрольной.
- В уже запущенный эксперимент нельзя добавить страны и регионы или контент.
В экспериментах активно используются термины из статистического анализа. Их можно найти в глоссарии ниже.
| Термин | Определение | Комментарий |
|---|---|---|
| Доверительный интервал |
Диапазон значений, позволяющий судить о том, насколько статистически значимым является результат. |
Это основной показатель для оценки результатов эксперимента. Результат считается статистически значимым, если доверительный интервал не содержит нулевого значения. Первые несколько дней показатель может отсутствовать из-за малого объема данных. |
| Доверительная вероятность |
Вероятность того, что наблюдаемая разница между контрольным и экспериментальным вариантами – это результат изменений. Пример. Доверительная вероятность 90 % означает, что в 10 % случаев наблюдаемые различия обусловлены случайностью. Другими словами, вероятность того, что положительный результат мог быть получен, если разницы между экспериментальным и контрольным вариантами нет, составляет менее 10 %. |
|
| Контрольное значение | Исходная переменная (цена товара в приложении) в группе эксперимента. | Контрольную цену видит часть аудитории эксперимента, определенная на этапе настройки, а также все пользователи, не участвующие в эксперименте. |
| Результат эксперимента | Исход эксперимента. | Возможные результаты эксперимента приведены далее в статье. |
| Ложноположительный результат | Ситуация, когда отрицательный результат ошибочно признается положительным. |
Если данные показывают, что разница между тратами пользователей на покупки по контрольной и экспериментальной ценам является статистически значимой, а в действительности это не так, значит получен ложноположительный результат. Доля ложноположительных результатов – это отношение числа ложноположительных результатов к общему количеству истинно отрицательных результатов. |
| Контент для однократных покупок |
Контент, который однократно оплачивается пользователем. Это могут быть виртуальные товары, например игровые уровни или предметы, а также платные услуги в вашем приложении, доступном в Google Play.
|
Включение нескольких товаров в эксперимент может снизить вероятность каннибализации. |
| Способ покупки |
Определяет цену на контент, регион его распространения и то, как пользователь получает к нему доступ. У товара может быть несколько способов покупки, а у одного способа покупки могут быть разные цены для отдельных регионов. |
Можно выбрать не более 1000 способов покупки. Как правило, чем больше данных, тем меньше времени понадобится, чтобы выявить разницу между контрольным и экспериментальными вариантами, если она есть. Ценовые эксперименты проводятся на уровне способов покупки, а не товаров. Чтобы узнать больше, изучите структуру объекта в объектной модели контента для однократных покупок. |
| Минимальная определяемая разница |
Задается на этапе настройки и определяет, какие изменения будут регистрироваться в ходе эксперимента. Этот показатель можно рассматривать как меру чувствительности. Он влияет на время достижения статистической значимости, которая рассчитывается на основании собранных ранее данных. Чем меньше минимальная определяемая разница, тем чувствительнее будет эксперимент и тем больше времени потребуется для получения статистически значимого результата. |
|
| Эффект новизны | Когда пользователям предлагается новая возможность, например товар или цена, они могут выбрать ее или воспользоваться ей, даже если она не имеет преимуществ по сравнению с исходным вариантом. Обычно такой всплеск интереса со временем сходит на нет. | Эффект новизны может искажать результаты коротких экспериментов. Чтобы исключить его влияние, рекомендуем опираться на расчетное время достижения статистической значимости. |
| Статистическая значимость | В A/B-тестировании этот показатель помогает определить, является ли разница между экспериментальным и контрольным вариантами случайностью или результатом изменений. |
Если доверительный интервал не содержит нулевого значения, то результат считается статистически значимым. В нашем случае результатом является разница между тратами пользователей на покупки по контрольной и экспериментальной ценам. Наглядные примеры доверительных интервалов приводятся в разделе Часто задаваемые вопросы. |
| Вариант | Измененное значение исходной переменной в группе эксперимента. | Это увеличенная или уменьшенная цена на товар в приложении. |
Настройка эксперимента
Чтобы ограничить каннибализацию, при настройке эксперимента рекомендуем включить в него весь взаимозаменяемый контент для однократных покупок в приложении (например, игровую валюту) со всеми способами покупки.
Если у вас недостаточно данных, сделать вывод по эксперименту будет сложно. Например, при проведении эксперимента с новым товаром наши оценки продолжительности и предупреждения могут быть неточными. Если в Play Console появится предупреждение о том, что за выбранный период будет получена слишком малая выборка, значит данных для эксперимента может быть недостаточно. Чтобы устранить проблему, попробуйте изменить настройки эксперимента. В этом вам помогут наши рекомендации для данных малого объема.
Если же вы проводите длительный эксперимент, помните, что на результаты могут влиять колебания курсов мировых валют и другие экономические факторы.
Шаг 1. Добавление данных
Чтобы добавить сведения об эксперименте, сделайте следующее:
- Откройте Play Console и перейдите на страницу Эксперименты с ценами (Монетизация с Google Play > Эксперименты с ценами).
- Нажмите Создать эксперимент.
- В разделе "Дополнительная информация" укажите название эксперимента и при желании добавьте краткое описание.
- Примечание. Название и описание эксперимента не видны пользователям.
- Выберите нужные страны или регионы.
- Важно! Эксперименты с ценами проводятся в указанных странах и регионах, но не на связанных с ними территориях. Например, если выбрать Францию, эксперимент не будет запущен на таких территориях, как Французская Гвиана.
- Нажмите + Товары, чтобы открыть диалоговое окно Выберите способы покупки. В разделе Активные способы покупки перечислены названия и идентификаторы доступного контента для однократных покупок, способы покупки с их идентификаторами и число заказов за последние 30 дней для каждого из этих товаров. Выберите способы покупки тех товаров, которые вы хотите включить в эксперимент, и нажмите Применить.
- Укажите дату начала. Эксперимент будет запущен в выбранную дату в 00:00 по тихоокеанскому времени (PT). Вы можете указать любой день в будущем.
- Чтобы добавить варианты, нажмите Далее.
Если на основании выбранных вами параметров мы посчитаем, что данных будет недостаточно для достижения статистической значимости, вы увидите предупреждение. В этом случае рекомендуется изменить настройки. Чтобы узнать, какие действия можно предпринять, ознакомьтесь с разделом Рекомендации для данных малого объема.
Рекомендации для данных малого объемаЭти рекомендации помогут изменить объем данных, необходимых для достижения статистической значимости, и сократить время проведения эксперимента.
|
Этап настройки эксперимента |
Рекомендованное действие |
|---|---|
| Шаг 1. Добавление данных | Увеличьте число стран или регионов, где проводится эксперимент. |
| Шаг 1. Добавление данных | Увеличьте число товаров, участвующих в эксперименте, или добавьте в него весь контент для однократных покупок. |
| Шаг 2. Добавление вариантов | Сократите число вариантов с двух до одного. |
| Шаг 2. Добавление вариантов |
Попробуйте уменьшить цену на больший процент. Примечание. Это не повлияет на исходную оценку, но поможет во время проведения эксперимента. |
| Шаг 3. Задание настроек | Увеличьте размер аудитории для каждого варианта (например, до 50 % для контрольного и экспериментального значений). |
| Шаг 3. Задание настроек |
Увеличьте минимальную определяемую разницу. Примечание. Изменение затронет только эксперименты, в которых результаты для контрольного и тестируемого вариантов не отличались. |
| Шаг 3. Задание настроек | Уменьшите доверительную вероятность. |
Шаг 2. Добавление вариантов
В разделе "Добавление вариантов" можно добавить и удалить варианты цен. В эксперименте должен быть хотя бы один вариант. Чтобы добавить варианты, сделайте следующее:
- В раскрывающемся меню выберите Повысить цену или Понизить цену и введите нужный процент. Обратите внимание на следующее:
- Необходимо указать целое число.
- Если вы выбрали Понизить цену, нужно ввести значение от 1 до 99.
- Если вы нажали Повысить цену, требуется ввести число от 1 до 999.
- После того как вы добавите вариант, на странице появятся контрольный и экспериментальный диапазоны цен. Чтобы увидеть дополнительные сведения, в том числе названия товаров и способы покупки с их идентификаторами, а также данные о территориях с особой налоговой ставкой (если применимо) и налоговую информацию, нажмите Посмотреть цены на товары. В этом разделе показываются фактические изменения цен в процентах с учетом обменного курса и модели ценообразования страны или региона.
- Чтобы добавить ещё один вариант, нажмите + Добавить вариант и повторите указанные выше действия. На странице будут представлены контрольный и экспериментальный диапазоны цен для каждого варианта.
- Чтобы задать другие параметры эксперимента, нажмите Далее.
Шаг 3. Задание настроек
В разделе "Задайте настройки" можно указать параметры таргетинга для эксперимента. Вот как это сделать:
- Укажите аудиторию эксперимента. Это процент пользователей, которые будут в нем участвовать. Они распределяются поровну между контрольным и экспериментальными вариантами. Пользователи, не участвующие в эксперименте, видят исходную цену (контрольное значение), но не учитываются при анализе результатов.
- Примечание. Нужно ввести целое число от 1 до 100.
- Задайте доверительную вероятность. Чем доверительная вероятность ниже, тем выше вероятность ложноположительного результата и меньше продолжительность эксперимента.
- Укажите минимальную определяемую разницу. Она определяет, какие изменения будут регистрироваться в ходе эксперимента. Этот показатель можно рассматривать как меру чувствительности. Он влияет на расчетное время, за которое будет достигнута статистическая значимость.
- Задайте параметры таргетинга. При изменении настроек также меняется расчетное время достижения статистической значимости. Используйте его как ориентир.
Шаг 4. Запуск эксперимента
Эксперимент готов к запуску. На время его проведения будут изменены цены для выбранных способов покупки и стран/регионов. Вы сможете завершить эксперимент в любой момент.
- Перед тем как запускать эксперимент, вы должны знать следующее:
- Эксперимент может повлиять на доход от приложения. Прежде чем делать выводы, рекомендуем дождаться статистически значимого результата.
- Пока проводится эксперимент, вы не сможете изменять цены для выбранных способов покупки.
- Если после получения результатов эксперимента вы примените вариант, это повлияет на все указанные способы покупки в выбранных странах и регионах.
- Нажмите Подтвердить и запустить.
Завершение эксперимента (необязательно)
Вы можете в любой момент остановить эксперимент.
- Откройте Play Console и перейдите на страницу Эксперименты с ценами (Монетизация с Google Play > Эксперименты с ценами).
- Выберите нужный эксперимент.
- Нажмите Завершить эксперимент.
Когда вы завершите эксперимент, для задействованных в нем товаров и стран/регионов будут возвращены исходные цены. Раздел с данными об эксперименте и его результатах станет недоступен.
Отменить проведение запланированного эксперимента можно аналогичным способом. Если вы сделаете это в течение 24 часов до даты начала, эксперимент может ненадолго запуститься.
Просмотр результатов эксперимента и применение вариантов
Вы должны представлять себе возможные исходы эксперимента и то, как они могут влиять на приложение и его ценовую стратегию. Перед применением результатов внимательно прочитайте этот раздел.
Просмотр результатов эксперимента и их анализ
Статистически значимые результаты показываются на странице эксперимента. Когда они появляются, вам приходит сообщение в Play Console.
Как посмотреть результат
Ознакомиться с результатом можно на странице эксперимента. Откройте страницу Эксперименты с ценами (Монетизация с Google Play > Эксперименты с ценами) и нажмите на стрелку вправо рядом с экспериментом, чтобы перейти на его страницу.
Результат показан в верхней части страницы. Дополнительную информацию вы найдете в разделе Возможные результаты эксперимента. Под результатом приводится его краткое описание. Например, у эксперимента может быть результат "Вариант [X] был наиболее эффективным" с описанием "Вариант [X] принес максимальный доход". Если экспериментальный вариант оказался не менее или даже более эффективным, чем контрольный, можно нажать Применить вариант [X], чтобы установить новую цену для указанных способов покупки. Узнайте больше о применении вариантов.
Примечание. Эксперименты завершаются автоматически через 14 дней после получения результата. Чтобы немедленно остановить эксперимент, нажмите Завершить эксперимент.
Как посмотреть вспомогательные данные
Под результатом находится таблица с данными, на которых он основан. В ней указаны варианты цен, доход, доход в сравнении с контрольным значением, в том числе в процентах, и доверительный интервал для вариантов. Дополнительную информацию о показателях на странице эксперимента вы найдете в разделе Определения показателей.
В разделе "Вспомогательные данные" под таблицей приводится более подробная информация. По умолчанию на диаграмме показаны сведения о доходе в сравнении с контрольным значением за период до последней доступной даты. Цветом обозначен доверительный интервал. Диаграмма позволяет оценить динамику его изменений. В правом верхнем углу можно указать нужную продолжительность и даты с помощью фильтров.
В левом верхнем углу находится фильтр, позволяющий посмотреть данные по таким показателям, как доход, заказы, покупатели, доля покупателей и средний доход на покупателя. Дополнительную информацию вы найдете в разделе Определения показателей. Если выбрать другой показатель, доверительный интервал на диаграмме показан не будет, так как он связан с доходом.
Чтобы посмотреть другие сведения о товарах, экспортируйте результаты эксперимента в CSV-файл. Данные будут представлены в полях определенного формата. Дополнительную информацию и примеры вы найдете в разделе Определения показателей (экспорт в CSV).
Применение вариантов
Обратите внимание, что вариант применяется только ко всем способам покупки и странам/регионам, задействованным в эксперименте. Статистическая значимость рассчитывается для набора параметров целиком. Если изменить цены для некоторых товаров или не во всех странах и регионах, то результат может отличаться от исхода эксперимента.
Вы можете применить экспериментальную цену, если она оказалась не менее эффективна, чем контрольная. Вот как это сделать:
- Откройте Play Console и перейдите на страницу Эксперименты с ценами (Монетизация с Google Play > Эксперименты с ценами).
- Нажмите Применить вариант рядом с нужным вариантом.
Цена на контент в приложении будет обновлена. Эксперименты завершаются автоматически через 14 дней после получения результата. Чтобы немедленно остановить эксперимент, нажмите Завершить эксперимент.
Возможные результаты экспериментаУ эксперимента может быть один из нескольких результатов. На основании этих данных определяются дальнейшие действия.
| Результат эксперимента | Значение | Комментарии/рекомендации |
|---|---|---|
| Вариант [X] оказался наиболее эффективным | Для варианта [X] показан статистически значимый результат с наибольшим ростом дохода. | Примените вариант [X], так как он оказался эффективнее контрольного и остальных вариантов. |
| Оба экспериментальных варианта оказались эффективнее контрольного | Оба экспериментальных варианта принесли больше дохода по сравнению с контрольным. Изучите результаты и решите, какой вариант применить. | Решение принимаете вы. |
| Контрольный и экспериментальные варианты были одинаково эффективны | Ни один экспериментальный вариант не принес больше дохода по сравнению с контрольным. | Собранных в ходе эксперимента данных было достаточно. Эффективность всех вариантов одинакова. |
| Контрольный вариант оказался наиболее эффективным | Контрольный вариант принес больше дохода по сравнению с обоими экспериментальными. | Это значит, что текущие цены для стран и контента, участвовавших в эксперименте, оптимальны. Ничего менять не нужно. |
| Требуется больше данных | Эксперимент проводится. Чтобы выявить статистически значимый результат, требуется больше данных. | Чтобы решить, что делать дальше, перейдите в раздел Рекомендации для данных малого объема. |
| Неопределенный результат | Эксперимент был завершен раньше срока, или закончилась максимальная длительность в шесть месяцев. Полученных данных недостаточно, чтобы выявить статистически значимый результат. Попробуйте запустить новый эксперимент с другой конфигурацией. | Чтобы решить, что делать дальше, изучите Рекомендации для данных малого объема. Возможно, покупатели в странах и регионах, где проводился эксперимент, не принимают во внимание изменение цены на контент для однократных покупок. |
В этой таблице приводятся показатели, которые можно найти на странице эксперимента.
| Показатель | Определение |
|---|---|
| Доход от всех товаров | Валовой доход от продажи контента для однократных покупок, участвующего и не участвующего в эксперименте, за определенный период. |
| Средний доход на покупателя | Общий валовой доход от продажи контента для однократных покупок, поделенный на количество уникальных покупателей, за определенный период. Уникальными считаются пользователи, которые хотя бы один раз приобрели такой контент в рамках эксперимента или вне его. Этот показатель помогает оценить вклад покупателей. |
| Доля покупателей (за 28 дней) |
Процент активных пользователей за месяц, которые во время эксперимента хотя бы один раз приобрели контент для однократных покупок (включая контент, не задействованный в эксперименте). Примечание. Это ключевой показатель, позволяющий оценить конверсию покупателей и возможности для расширения их базы. |
| Покупатели | Уникальные пользователи, которые за определенный период приобрели по экспериментальной цене хотя бы один товар для однократных покупок. |
| Доход от новых пользователей, установивших приложение | Валовой доход от пользователей, которые впервые установили приложение на каком-либо из устройств после даты начала эксперимента и ранее не видели экспериментальную цену. Пользователи могут отказаться передавать нам эти данные. |
| Заказы | Количество покупок контента, участвующего в эксперименте, которые были совершены за определенный период эксперимента. |
| Доход | Валовой доход от продажи контента для однократных покупок, задействованного в эксперименте, за определенный период. |
В этой таблице представлены формат и примеры для каждого поля в CSV-файле с экспортированными показателями.
|
Поле |
Формат | Примеры и примечания |
|---|---|---|
| Дата | Строковый |
Дата заказа по тихоокеанскому времени (в формате МММ ДД, ГГГГ). |
| Идентификатор SKU | Строковый |
Указанный разработчиком уникальный идентификатор контента для однократных покупок. |
| Название товара | Строковый |
Указанное разработчиком название контента для однократных покупок. |
| Страна | Строковый |
Уникальный код страны для показателей, относящихся к контенту для однократных покупок. |
| Группа эксперимента | Строковый |
Группа эксперимента для показателей, относящихся к контенту для однократных покупок. |
| Валюта разработчика |
Строковый |
Валюта, в которую конвертируется стоимость заказа. Это местная валюта, в которой производится выплата. |
| Доход | Числовой |
Общий валовой доход от продажи указанного контента для однократных покупок (с учетом даты, страны и группы эксперимента). |
| Доход от новых пользователей, установивших приложение | Числовой |
Валовой доход от пользователей, которые впервые установили приложение на каком-либо из устройств после даты начала эксперимента и ранее не видели экспериментальную цену. Указывается для заданного контента с учетом даты, страны и группы эксперимента. Пользователи могут отказаться передавать нам эти данные. |
| Заказы | Числовой |
Общее число заказов указанного контента для однократных покупок (с учетом даты, страны и группы эксперимента). |
| Покупатели | Числовой |
Общее количество покупателей с учетом даты, страны и группы эксперимента. Покупатели – это пользователи, которые приобрели указанный контент во время эксперимента. |
Часто задаваемые вопросы
В каких странах и регионах можно проводить эксперименты?Проводить эксперименты с ценами можно в странах и регионах, в которых:
- уже представлен выпуск приложения, в том числе для внутреннего тестирования;
- поддерживается местная валюта.
Возможно, в эксперименте используется очень мало данных. Кроме того, некоторые сведения могут появляться с задержкой до семи дней.
Можно ли тестировать цены, которые намного выше или ниже текущих лимитов для страны?
Нет. Экспериментальные цены можно задавать только в указанном для страны или региона диапазоне. Если измененная цена выходит за пределы допустимого диапазона, она будет автоматически приведена к максимальному или минимальному значению. Изучите разрешенные валюты и диапазоны цен для разных стран в статье Страны, в которых можно распространять приложения через Google Play.
Нет. Для проведения экспериментов с ценами подходит любая версия платежной системы Google Play.
Все заказы в рамках эксперимента представлены в ежемесячных финансовых отчетах, доступных для скачивания (отчет о предполагаемых продажах и отчет о доходах). Из них можно узнать, какие товары, участвующие в эксперименте, приобретены по контрольной и экспериментальной ценам в странах и регионах, где он проводится.
Чтобы получить содержательные результаты, лучше не проводить несколько A/B-тестов одновременно. Например, Firebase используется независимо от ценовых экспериментов в Play Console, и влияние на определенный контент для однократных покупок может помешать вам получить достоверные результаты.
Для расчета доверительных интервалов используется метод складного ножа (jackknife), который позволяет оценить дисперсию с помощью ресемплинга. К полученному набору применяется последовательный критерий отношения вероятностей, что помогает компенсировать повышенное число ложноположительных результатов, зафиксированных в ходе непрерывного отслеживания. Результат считается статистически значимым, если доверительный интервал не содержит нулевого значения.
Для проведения экспериментов нужны разрешения Управление страницей приложения и Просмотр финансовых данных.
Эксперимент останавливается автоматически через 14 дней после получения статистически значимого результата или по окончании максимальной продолжительности в шесть месяцев. При настройке оценивается примерная длительность эксперимента. Однако он завершается не по истечении этого срока, а после выявления статистически значимой разницы. Вам дается 14 дней на то, чтобы применить новые цены. Затем возвращаются исходные значения.
Нет. Пользователь будет видеть только одну цену на протяжении всего эксперимента.
Нет. После запуска эксперимента начинается сбор результатов с выбранными параметрами. Вы можете параллельно провести второй эксперимент с дополнительными странами/регионами или завершить текущий эксперимент и настроить новый. Если в новый эксперимент вы хотите добавить способы покупки и страны/регионы, которые были задействованы в предыдущем, то запустить его можно будет не ранее чем через 30 дней.
Статистическая значимость рассчитывается для всех стран/регионов и товаров, связанных с экспериментом, а не для каждой комбинации. Если вы хотите изменить цены в отдельной стране, то при настройке эксперимента выберите только ее.
Да, это можно сделать даже после возвращения исходных цен.
Результат будет неопределенным, если собрано недостаточно данных или доход от способов покупки, участвующих в эксперименте, существенно не отличается от дохода в контрольной группе. В этом случае, возможно, покупатели не обращают внимания на изменение цены.
Чем больше выборка, тем выше статистическая мощность. Если вы планируете протестировать новую цену для одного очень популярного товара, который покупают многие пользователи, результат может оказаться содержательным. Но, как правило, мы рекомендуем включать в эксперимент несколько позиций, чтобы увеличить его статистическую мощность.
Если у вас есть несколько товаров, которые в определенной степени взаимозаменяемы (например, 60 единиц игровой валюты за 0,99 доллара США и 300 – за 4,99 доллара США), советуем включить в эксперимент их все, чтобы избежать каннибализации.
Обычно мы рекомендуем добавлять только один вариант: использовать исходную цену как контрольное значение и тестировать цену на товар со скидкой. Если задано два варианта, то в дополнение к контрольной цене товара есть ещё две экспериментальные. Результаты таких экспериментов может быть сложно интерпретировать. Кроме того, достижение статистической значимости в них занимает больше времени.
Если доверительный интервал не содержит нулевого значения, то результат считается статистически значимым. В нашем случае результатом является разница между тратами пользователей на покупки по контрольной и экспериментальной ценам.
Вот как может выглядеть доверительный интервал, если результат положительный:
Вот как может выглядеть доверительный интервал, если результат отрицательный:
Вот как может выглядеть доверительный интервал, если результат неопределенный (для эксперимента требуется больше данных):
Мы отслеживаем случаи подмены местоположения пользователями и принимаем меры, чтобы снизить влияние таких действий на разработчиков и их товары.
Статьи по теме
- Эксперименты с ценами и связанные возможности.
- Курс по экспериментам с ценами в Академии Google Play.