Общие сведения
Эксперименты с ценами позволяют проводить A/B-тестирование, а затем на основе результатов уверенно и точно корректировать цены в приложении в соответствии с покупательной способностью на разных рынках. С помощью экспериментов также можно сравнивать новые уровни цен с контрольным значением на основных рынках. Выбор оптимальных цен на контент для отдельных стран и регионов позволяет увеличивать доход и привлекать новых пользователей. Чтобы проводить эксперименты, связанные с продажей контента, вы должны быть разработчиком и продавцом приложения.
Подготовка и проведение экспериментов с ценами
Ниже приводятся инструкции и важная информация по подготовке и проведению экспериментов с ценами, а также описываются их результаты.
Подготовка
Перед тем как настроить эксперимент с ценами в Play Console, прочитайте разделы ниже.
Требования- Эксперименты можно проводить только с активным контентом для продажи через приложение.
- Для проведения экспериментов требуются разрешения Управление страницей приложения и Просмотр финансовых данных.
Общие сведения
- Эксперимент нельзя провести для нескольких приложений одновременно.
- Максимальная продолжительность эксперимента составляет шесть месяцев. По истечении этого срока или через 14 дней после получения статистически значимого результата возвращаются исходные цены.
- Один эксперимент может охватывать не более 1000 товаров в приложении.
- В эксперименте не могут участвовать товары и страны, задействованные в эксперименте, который закончился менее 30 дней назад.
- Эксперимент нельзя приостановить. Его можно довести до конца или завершить. Перезапустить завершенный эксперимент нельзя.
Ограничения по странам и регионам
- В одной стране или регионе нельзя проводить несколько экспериментов одновременно. Уже запущенный эксперимент необходимо остановить, прежде чем создавать эксперимент с другими товарами.
- Экспериментальные цены на товары в приложении должны находиться в установленном диапазоне. Если при настройке эксперимента вы укажете такой процент изменения цены, что ее итоговое значение выйдет за пределы диапазона, допустимого для страны или региона, процент будет автоматически скорректирован, чтобы итоговая цена сравнялась с верхней или нижней границей.
- Для каждого эксперимента можно указать не более двух вариантов цены и одно контрольное значение.
- Эксперименты проводятся в выбранных странах и регионах, но не на связанных с ними территориях с особой налоговой ставкой. Например, эксперимент во Франции не будет охватывать ее заморские территории, такие как Гваделупа, Майотта, Мартиника, Новая Каледония, Реюньон, Сен-Бартелеми, Сен-Мартен, Сен-Пьер и Микелон, Уоллис и Футуна, Французская Гвиана, Французская Полинезия.
Изменения в контенте для продажи через приложение
- Чтобы изменить цену на контент, участвующий в эксперименте, потребуется завершить эксперимент. Обратите внимание на следующее:
- Исключением является ситуация, когда вы проводите два эксперимента и применяете результаты одного из них. Вы также можете изменить цены в странах, не задействованных в эксперименте, если контент связан с шаблоном цен.
- В эксперименте не участвуют товары, настроенные во время его проведения.
Проведение экспериментов и применение результатов
- Применять экспериментальные цены можно в любой момент, однако мы рекомендуем делать это после получения статистически значимых результатов и использовать только ту цену, которая оказалась эффективнее контрольной.
- В уже запущенный эксперимент нельзя добавить страны/регионы или товары.
- Если один или несколько товаров в приложении связаны с шаблоном цен, то после применения результата связь с шаблоном будет отменена, а в странах и регионах, участвующих в эксперименте, изменятся цены.
В экспериментах активно используются термины из статистического анализа. Их можно найти в глоссарии ниже.
| Термин | Определение | Комментарий |
|---|---|---|
| Доверительный интервал |
Диапазон значений, позволяющий судить о том, насколько статистически значимым является результат. |
Это основной показатель для оценки результатов эксперимента. Результат считается статистически значимым, если доверительный интервал не содержит нулевого значения. Первые несколько дней показатель может отсутствовать из-за малого объема данных. |
| Доверительная вероятность |
Вероятность того, что наблюдаемая разница между контрольным и экспериментальным вариантами – это результат изменений. Пример. Доверительная вероятность 90 % означает, что в 10 % случаев наблюдаемые различия обусловлены случайностью. Другими словами, вероятность того, что положительный результат мог быть получен, если разницы между экспериментальным и контрольным вариантами нет, составляет менее 10 %. |
|
| Контрольное значение | Исходная переменная (цена товара в приложении) в группе эксперимента. | Контрольную цену видит часть аудитории эксперимента, определенная на этапе настройки, а также все пользователи, не участвующие в эксперименте. |
| Результат эксперимента | Исход эксперимента. | Возможные результаты эксперимента приведены далее в статье. |
| Ложноположительный результат | Ситуация, когда отрицательный результат ошибочно признается положительным. |
Если данные показывают, что разница между тратами пользователей на покупки по контрольной и экспериментальной ценам является статистически значимой, а в действительности это не так, значит получен ложноположительный результат. Доля ложноположительных результатов – это отношение числа ложноположительных результатов к общему количеству истинно отрицательных результатов. |
| Контент для продажи |
Контент, который однократно оплачивается пользователем. Это могут быть виртуальные товары, например игровые уровни или предметы, а также платные услуги в вашем приложении, доступном в Google Play. |
Вы можете выбрать от 1 до 2000 товаров. Чем больше будет данных, тем меньше времени понадобится, чтобы выявить разницу, если она имеется, между контрольным и экспериментальными вариантами. Включение нескольких товаров в эксперимент может снизить вероятность каннибализации. |
| Минимальная определяемая разница |
Задается на этапе настройки и определяет, какие изменения будут регистрироваться в ходе эксперимента. Этот показатель можно рассматривать как меру чувствительности. Он влияет на время достижения статистической значимости, которая рассчитывается на основании собранных ранее данных. Чем меньше минимальная определяемая разница, тем чувствительнее будет эксперимент и тем больше времени потребуется для получения статистически значимого результата. |
|
| Эффект новизны | Когда пользователям предлагается новая возможность, например товар или цена, они могут выбрать ее или воспользоваться ей, даже если она не имеет преимуществ по сравнению с исходным вариантом. Обычно такой всплеск интереса со временем сходит на нет. | Эффект новизны может искажать результаты коротких экспериментов. Чтобы исключить его влияние, рекомендуем опираться на расчетное время достижения статистической значимости. |
| Статистическая значимость | В A/B-тестировании этот показатель помогает определить, является ли разница между экспериментальным и контрольным вариантами случайностью или результатом изменений. |
Если доверительный интервал не содержит нулевого значения, то результат считается статистически значимым. В нашем случае результатом является разница между тратами пользователей на покупки по контрольной и экспериментальной ценам. Наглядные примеры доверительных интервалов приводятся в разделе Часто задаваемые вопросы. |
| Вариант | Измененное значение исходной переменной в группе эксперимента. | Это увеличенная или уменьшенная цена на товар в приложении. |
Настройка эксперимента
Чтобы ограничить каннибализацию, при настройке эксперимента в него рекомендуется включить все взаимозаменяемые товары в приложении, например игровую валюту и т. п.
Если у вас недостаточно данных, сделать вывод по эксперименту будет сложно. Например, при проведении эксперимента с новым товаром наши оценки продолжительности и предупреждения могут быть неточными. Если в Play Console появится предупреждение о том, что за выбранный период будет получена слишком малая выборка, значит данных для эксперимента может быть недостаточно. Чтобы устранить проблему, попробуйте изменить настройки эксперимента. В этом вам помогут наши рекомендации для данных малого объема.
Если же вы проводите длительный эксперимент, помните, что на результаты могут влиять колебания курсов мировых валют и другие экономические факторы.
Шаг 1. Добавление данных
Чтобы добавить сведения об эксперименте, сделайте следующее:
- Откройте Play Console и перейдите на страницу Эксперименты с ценами (Монетизация > Эксперименты с ценами).
- Нажмите Создать эксперимент.
- В разделе "Дополнительная информация" укажите название эксперимента и при желании добавьте краткое описание.
- Примечание. Название и описание эксперимента не видны пользователям.
- Выберите нужные страны или регионы.
- Важно! Эксперименты с ценами проводятся в указанных странах и регионах, но не на связанных с ними территориях. Например, если выбрать Францию, эксперимент не будет запущен на таких территориях, как Французская Гвиана.
- В раскрывающемся списке Товары выберите нужные товары. Для них указываются названия, идентификаторы и цены.
- Важно! Если товар связан с шаблоном цен, на время эксперимента этот шаблон блокируется.
- Укажите дату начала. Эксперимент будет запущен в выбранную дату в 00:00 по тихоокеанскому времени (PT). Вы можете указать любой день в будущем.
- Чтобы добавить варианты, нажмите Далее.
Если на основании выбранных вами параметров мы посчитаем, что данных будет недостаточно для достижения статистической значимости, вы увидите предупреждение. В этом случае рекомендуется изменить настройки. Чтобы узнать, какие действия можно предпринять, ознакомьтесь с разделом Рекомендации для данных малого объема.
Рекомендации для данных малого объемаЭти рекомендации помогут изменить объем данных, необходимых для достижения статистической значимости, и сократить время проведения эксперимента.
|
Этап настройки эксперимента |
Рекомендованное действие |
|---|---|
| Шаг 1. Добавление данных | Увеличьте число стран или регионов, где проводится эксперимент. |
| Шаг 1. Добавление данных | Увеличьте число товаров, участвующих в эксперименте, или добавьте в него весь контент для продажи. |
| Шаг 2. Добавление вариантов | Сократите число вариантов с двух до одного. |
| Шаг 2. Добавление вариантов |
Попробуйте уменьшить цену на больший процент. Примечание. Это не повлияет на исходную оценку, но поможет во время проведения эксперимента. |
| Шаг 3. Задание настроек | Увеличьте размер аудитории для каждого варианта (например, до 50 % для контрольного и экспериментального значений). |
| Шаг 3. Задание настроек |
Увеличьте минимальную определяемую разницу. Примечание. Изменение затронет только эксперименты, в которых результаты для контрольного и тестируемого вариантов не отличались. |
| Шаг 3. Задание настроек | Уменьшите доверительную вероятность. |
Шаг 2. Добавление вариантов
В разделе "Добавление вариантов" можно добавить и удалить варианты цен. В эксперименте должен быть хотя бы один вариант. Чтобы добавить варианты, сделайте следующее:
- В раскрывающемся меню выберите Повысить цену или Понизить цену и введите нужный процент. Обратите внимание на следующее:
- Необходимо указать целое число.
- Если вы выбрали Понизить цену, нужно ввести значение от 1 до 99.
- Если вы нажали Повысить цену, требуется ввести число от 1 до 999.
- После добавления варианта на странице появятся контрольный и экспериментальный диапазоны цен. Чтобы увидеть дополнительные сведения, в том числе названия и идентификаторы товаров, данные о территориях с особой налоговой ставкой (если применимо) и налоговую информацию, нажмите Посмотреть цены на товары. В этом разделе показываются фактические изменения цен в процентах с учетом обменного курса и модели ценообразования страны или региона.
- Чтобы добавить ещё один вариант, нажмите + Добавить вариант и повторите указанные выше действия. На странице будут представлены контрольный и экспериментальный диапазоны цен для каждого варианта.
- Чтобы задать другие параметры эксперимента, нажмите Далее.
Шаг 3. Задание настроек
В разделе "Задайте настройки" можно указать параметры таргетинга для эксперимента. Вот как это сделать:
- Укажите аудиторию эксперимента. Это процент пользователей, которые будут в нем участвовать. Они распределяются поровну между контрольным и экспериментальными вариантами. Пользователи, не участвующие в эксперименте, видят исходную цену (контрольное значение), но не учитываются при анализе результатов.
- Примечание. Нужно ввести целое число от 1 до 100.
- Задайте доверительную вероятность. Чем доверительная вероятность ниже, тем выше вероятность ложноположительного результата и меньше продолжительность эксперимента.
- Укажите минимальную определяемую разницу. Она определяет, какие изменения будут регистрироваться в ходе эксперимента. Этот показатель можно рассматривать как меру чувствительности. Он влияет на расчетное время, за которое будет достигнута статистическая значимость.
- Задайте параметры таргетинга. При изменении настроек также меняется расчетное время достижения статистической значимости. Используйте его как ориентир.
Шаг 4. Запуск эксперимента
После настройки эксперимент можно запустить. На время его проведения будут изменены цены для выбранных товаров и стран/регионов. Вы можете в любой момент остановить эксперимент.
- Перед тем как запускать эксперимент, вы должны знать следующее:
- Эксперимент может повлиять на доход от приложения. Чтобы получить содержательные результаты, рекомендуем дождаться достижения статистически значимого результата.
- Вы не сможете менять цены выбранных товаров, пока проводится эксперимент.
- Если применить результаты эксперимента, это повлияет на все указанные товары в выбранных странах и регионах.
- Нажмите Подтвердить и запустить.
Завершение эксперимента (необязательно)
Вы можете в любой момент остановить эксперимент.
- Откройте Play Console и перейдите на страницу Эксперименты с ценами (Монетизация > Эксперименты с ценами).
- Выберите нужный эксперимент.
- Нажмите Завершить эксперимент.
Когда вы завершите эксперимент, для связанных с ним товаров и стран/регионов будут возвращены исходные цены. Раздел с данными об эксперименте и его результатах станет недоступен.
Отменить проведение запланированного эксперимента можно аналогичным способом. Если вы сделаете это в течение 24 часов до даты начала, эксперимент может ненадолго запуститься.
Просмотр результатов эксперимента и применение вариантов
Вы должны представлять себе возможные исходы эксперимента и то, как они могут влиять на приложение и его ценовую стратегию. Перед применением результатов внимательно прочитайте этот раздел.
Просмотр результатов эксперимента и их анализ
Статистически значимые результаты показываются на странице эксперимента. Когда они появляются, вам приходит сообщение в Play Console.
Как посмотреть результат
Ознакомиться с результатом можно на странице эксперимента. Откройте страницу Эксперименты с ценами (Монетизация > Эксперименты с ценами) и нажмите на стрелку вправо рядом с экспериментом, чтобы перейти на его страницу.
Результат показан в верхней части страницы. Дополнительную информацию вы найдете в разделе Возможные результаты эксперимента. Под результатом приводится его краткое описание. Например, у эксперимента может быть результат "Вариант [X] оказался наиболее эффективным" с описанием "Вариант [X] принес максимальный доход". Если экспериментальный вариант оказался не менее или даже более эффективным, чем контрольный, можно нажать Применить вариант [X], чтобы установить новую цену для товара. Узнайте больше о применении вариантов.
Примечание. Эксперименты завершаются автоматически через 14 дней после получения результата. Чтобы немедленно остановить эксперимент, нажмите Завершить эксперимент.
Как посмотреть вспомогательные данные
Под результатом находится таблица с данными, на которых он основан. В ней указаны варианты цен, доход, доход в сравнении с контрольным значением, в том числе в процентах, и доверительный интервал для вариантов. Дополнительную информацию о показателях на странице эксперимента вы найдете в разделе Определения показателей.
В разделе "Вспомогательные данные" под таблицей приводится более подробная информация. По умолчанию на диаграмме показаны сведения о доходе в сравнении с контрольным значением за период до последней доступной даты. Цветом обозначен доверительный интервал. Диаграмма позволяет оценить динамику его изменений. В правом верхнем углу можно указать нужную продолжительность и даты с помощью фильтров.
В левом верхнем углу находится фильтр, позволяющий посмотреть данные по таким показателям, как доход, заказы, покупатели, доля покупателей и средний доход на покупателя. Дополнительную информацию вы найдете в разделе Определения показателей. Если выбрать другой показатель, доверительный интервал на диаграмме показан не будет, так как он связан с доходом.
Чтобы посмотреть другие сведения о товарах, экспортируйте результаты эксперимента в CSV-файл. Данные будут представлены в полях определенного формата. Дополнительную информацию и примеры вы найдете в разделе Определения показателей (экспорт в CSV).
Применение вариантов
Перед тем как применить вариант, обратите внимание на следующее:
- Если один или несколько товаров в приложении связаны с шаблоном цен, то после применения варианта связь с шаблоном будет отменена, а в странах и регионах, участвующих в эксперименте, изменятся цены.
- Применить вариант можно только сразу ко всем товарам и странам/регионам, задействованным в эксперименте. Статистическая значимость рассчитывается для набора параметров целиком. Если изменить только некоторые настройки, то результат может отличаться от исхода эксперимента.
Вы можете применить экспериментальную цену, если она оказалась не менее эффективна, чем контрольная. Вот как это сделать:
- Откройте Play Console и перейдите на страницу Эксперименты с ценами (Монетизация > Эксперименты с ценами).
- Нажмите Применить вариант рядом с нужным вариантом.
Цена на контент в приложении будет обновлена. Эксперименты завершаются автоматически через 14 дней после получения результата. Чтобы немедленно остановить эксперимент, нажмите Завершить эксперимент.
Возможные результаты экспериментаУ эксперимента может быть один из нескольких результатов. На основании этих данных определяются дальнейшие действия.
| Результат эксперимента | Значение | Комментарии/рекомендации |
|---|---|---|
| Вариант [X] оказался наиболее эффективным | Для варианта [X] показан статистически значимый результат с наибольшим ростом дохода. | Примените вариант [X], так как он оказался эффективнее контрольного и остальных вариантов. |
| Оба экспериментальных варианта оказались эффективнее контрольного | Оба экспериментальных варианта принесли больше дохода по сравнению с контрольным. Изучите результаты и решите, какой вариант применить. | Решение принимаете вы. |
| Контрольный и экспериментальные варианты были одинаково эффективны | Ни один экспериментальный вариант не принес больше дохода по сравнению с контрольным. | Собранных в ходе эксперимента данных было достаточно. Эффективность всех вариантов одинакова. |
| Контрольный вариант оказался наиболее эффективным | Контрольный вариант принес больше дохода по сравнению с обоими экспериментальными. | Это значит, что текущие цены для стран и контента, участвовавших в эксперименте, оптимальны. Ничего менять не нужно. |
| Требуется больше данных | Эксперимент проводится. Чтобы выявить статистически значимый результат, требуется больше данных. | Чтобы решить, что делать дальше, перейдите в раздел Рекомендации для данных малого объема. |
| Неопределенный результат | Эксперимент был завершен раньше срока, или закончилась максимальная длительность в шесть месяцев. Полученных данных недостаточно, чтобы выявить статистически значимый результат. Попробуйте запустить новый эксперимент с другой конфигурацией. | Чтобы решить, что делать дальше, перейдите в раздел Рекомендации для данных малого объема. Возможно, покупатели в странах и регионах, где проводился эксперимент, не принимают во внимание цены на контент, продаваемый через приложения. |
В этой таблице приводятся показатели, которые можно найти на странице эксперимента.
| Показатель | Определение |
|---|---|
| Доход от всех продуктов | Валовой доход от продажи контента, участвующего и не участвующего в эксперименте, за определенный период. |
| Средний доход на покупателя | Общий валовой доход от продажи контента, поделенный на количество уникальных пользователей, которые совершили хотя бы одну покупку как участвующего, так и не участвующего в эксперименте контента, за определенный период. Этот показатель помогает оценить вклад покупателей. |
| Доля покупателей (за 28 дней) |
Процент активных пользователей за месяц, которые во время эксперимента совершили хотя бы одну покупку контента, в том числе не задействованного в эксперименте. Примечание. С помощью этого показателя можно оценить конверсию покупателей и возможности для расширения их базы. |
| Покупатели | Уникальные пользователи, которые купили хотя бы один товар в приложении по экспериментальной цене за определенный период. |
| Доход от новых установок | Валовой доход от пользователей, которые впервые установили приложение на каком-либо из устройств после даты начала эксперимента и ранее не видели экспериментальную цену. Пользователи могут отказаться передавать нам эти данные. |
| Заказы | Количество покупок контента, участвующего в эксперименте, которые были совершены за определенный период эксперимента. |
| Доход | Валовой доход от продажи контента, задействованного в эксперименте, за определенный период. |
В этой таблице представлены формат и примеры для каждого поля в CSV-файле с экспортированными показателями.
|
Поле |
Формат | Примеры и примечания |
|---|---|---|
| Дата | Строковый |
Дата заказа по тихоокеанскому времени (в формате МММ ДД, ГГГГ). |
| Идентификатор SKU | Строковый |
Указанный разработчиком уникальный идентификатор продаваемого через приложение контента. |
| Название товара | Строковый |
Указанное разработчиком название продаваемого через приложение контента. |
| Страна | Строковый |
Уникальный код страны для показателей, связанных с продаваемым через приложение контентом. |
| Группа эксперимента | Строковый |
Группа эксперимента для показателей, связанных с продаваемым через приложение контентом. |
| Валюта разработчика |
Строковый |
Валюта, в которую конвертируется стоимость заказа. Это местная валюта, в которой производится выплата. |
| Доход | Числовой |
Общий валовой доход по указанному контенту с учетом даты, страны и группы эксперимента. |
| Доход от новых установок | Числовой |
Валовой доход от пользователей, которые впервые установили приложение на каком-либо из устройств после даты начала эксперимента и ранее не видели экспериментальную цену. Указывается для заданного контента с учетом даты, страны и группы эксперимента. Пользователи могут отказаться передавать нам эти данные. |
| Заказы | Числовой |
Общее число заказов указанного контента с учетом даты, страны и группы эксперимента. |
| Покупатели | Числовой |
Общее количество покупателей с учетом даты, страны и группы эксперимента. Покупатели – это пользователи, которые приобрели в приложении указанный контент во время эксперимента. |
Часто задаваемые вопросы
В каких странах и регионах можно проводить эксперименты?Проводить эксперименты с ценами можно в странах и регионах, в которых:
- уже представлен выпуск приложения, в том числе для внутреннего тестирования;
- поддерживается местная валюта.
Возможно, в эксперименте используется очень мало данных. Некоторые сведения также могут появляться с задержкой до семи дней.
Да. Имейте в виду, что в странах и регионах, задействованных в эксперименте, цены на товар, связанный с шаблоном цен, на время проведения эксперимента блокируются. Однако вы можете менять цены для других стран и регионов.
Если применить новые цены по окончании эксперимента, связь всех участвовавших в нем товаров с шаблонами цен будет отменена, а сами шаблоны останутся без изменений. Если вы хотите применить результаты эксперимента, не отменяя связь контента с шаблонами цен, перейдите на страницу Шаблоны цен (Настройки > Шаблоны цен) и измените цены.
Узнайте больше о шаблонах цен.
Нет. Экспериментальные цены можно задавать только в указанном для страны или региона диапазоне. Если измененная цена выходит за пределы допустимого диапазона, она будет автоматически приведена к максимальному или минимальному значению. Изучите разрешенные валюты и диапазоны цен для разных стран в статье Страны, в которых можно распространять приложения через Google Play.
Нет. Для проведения экспериментов с ценами подходит любая версия платежной системы Google Play.
Все заказы в рамках эксперимента представлены в ежемесячных финансовых отчетах, доступных для скачивания (отчет о предполагаемых продажах и отчет о доходах). Из них можно узнать, какие товары, участвующие в эксперименте, приобретаются по контрольной и экспериментальной ценам в странах и регионах, где проводится эксперимент.
Чтобы получить содержательные результаты, лучше не проводить несколько A/B-тестов одновременно. Например, Firebase используется независимо от экспериментов с ценами в Play Console, и влияние на определенные товары в приложении может помешать получить достоверные результаты.
Для расчета доверительных интервалов используется метод складного ножа (jackknife), который позволяет оценить дисперсию с помощью ресемплинга. К полученному набору применяется последовательный критерий отношения вероятностей, что помогает компенсировать повышенное число ложноположительных результатов, зафиксированных в ходе непрерывного отслеживания. Результат считается статистически значимым, если доверительный интервал не содержит нулевого значения.
Для проведения экспериментов нужны разрешения Управление страницей приложения и Просмотр финансовых данных.
Эксперимент останавливается автоматически через 14 дней после получения статистически значимого результата или по окончании максимальной продолжительности в шесть месяцев. При настройке оценивается примерная длительность эксперимента. Однако он завершается не по истечении этого срока, а после выявления статистически значимой разницы. Вам дается 14 дней на то, чтобы применить новые цены. Затем возвращаются исходные значения.
Нет. Пользователь будет видеть только одну цену на протяжении всего эксперимента.
Нет. После запуска эксперимента начинается сбор результатов с выбранными параметрами. Вы можете параллельно провести второй эксперимент с дополнительными странами или регионами или завершить текущий эксперимент и настроить новый. Обратите внимание, что если с новым экспериментом связаны товары и страны/регионы из предыдущего, то запустить его можно будет не ранее чем через 30 дней.
Статистическая значимость рассчитывается для всех стран/регионов и товаров, связанных с экспериментом, а не для каждой комбинации. Если вы хотите изменить цены в отдельной стране, то при настройке эксперимента выберите только ее.
Да, это можно сделать даже после возвращения исходных цен.
Результат будет неопределенным, если у вас недостаточно данных или доход от товаров, участвующих в эксперименте, существенно не отличается от дохода по контрольной группе. В этом случае, возможно, покупатели не обращают внимания на изменение цены.
Чем больше выборка, тем выше статистическая мощность. Если вы планируете эксперимент для одного очень популярного товара, результат может оказаться содержательным. Но, как правило, мы рекомендуем включать в эксперимент несколько позиций, чтобы увеличить его статистическую мощность.
Если у вас есть несколько товаров, которые в определенной степени взаимозаменяемы (например, 60 единиц внутриигровой валюты за 0,99 доллара США и 300 – за 4,99 доллара США), советуем включить в эксперимент их все, чтобы избежать каннибализации.
Обычно мы рекомендуем добавлять только один вариант: использовать исходную цену как контрольное значение и тестировать цену на товар со скидкой. Если задано два варианта, то в дополнение к контрольной цене товара есть ещё две экспериментальные. Результаты таких экспериментов может быть сложно интерпретировать. Кроме того, достижение статистической значимости в них занимает больше времени.
Если доверительный интервал не содержит нулевого значения, то результат считается статистически значимым. В нашем случае результатом является разница между тратами пользователей на покупки по контрольной и экспериментальной ценам.
Вот как может выглядеть доверительный интервал, если результат положительный:
Вот как может выглядеть доверительный интервал, если результат отрицательный:
Вот как может выглядеть доверительный интервал, если результат неопределенный (для эксперимента требуется больше данных):
Мы отслеживаем случаи подмены местоположения пользователями и принимаем меры, чтобы снизить влияние таких действий на разработчиков и их товары.
Статьи по теме
- Эксперименты с ценами и связанные возможности.
- Курс по экспериментам с ценами в Академии Google Play.