Провеждане на двувариантни тестове за малката ви обява в магазина

За да предоставим на програмистите по-голям контрол и статистическа надеждност, направихме някои промени в експериментите с малката обява в магазина в Play Console. Добавихме три нови възможности:

  • конфигуриране на параметрите на експеримента;
  • калкулатор за прогнозиране на необходимите примери и срока за приключване;
  • доверителни интервали, които вече позволяват непрекъснато наблюдение.

Тази страница е актуализирана с цел отразяване на промените.

Описаните на тази страница функции още не са налице за всички програмисти.

С цел оптимизиране на малката обява в Google Play можете да провеждате експерименти, за да намирате най-ефективните графични елементи и локализиран текст за приложението си. Имате възможност да провеждате експерименти за основната и персонализираните си малки обяви в магазина.

В състояние сте да сравнявате варианти на публикувани приложения с текущите им версии, за да видите кой вариант е най-ефективен въз основа на данните за инсталиранията. Преди да настроите тест, прегледайте най-добрите практики за провеждане на ефективни експерименти.

Забележка: Глобалните експерименти бяха преименувани на експерименти със стандартните графични активи. Те запазват същата функционалност, която са имали, преди да бъдат преименувани.

Типове експерименти

За всяко приложение можете да провеждате един експеримент със стандартните графични активи или до пет локализирани експеримента едновременно.

Със стандартните графични активи

Посредством експериментите със стандартните графични активи можете да експериментирате с графични елементи за стандартния език на малката обява на приложението си. В състояние сте да включите варианти на иконата, графиката за представяне, екранните снимки и популяризиращия видеоклип на приложението.

  • Ако малката обява в магазина на приложението ви е достъпна само на един език, експериментите със стандартните графични активи ще бъдат показвани на всички потребители.
  • Ако сте добавили локализирани графични активи за определен език, потребителите, които преглеждат приложението ви на съответния език, ще бъдат изключени от този тип експерименти. Ако например стандартният език на приложението е английски и то има локализирана графика за представяне на френски, в експеримента няма да участват потребителите, които преглеждат приложението на френски (дори да тествате иконата му).
Локализирани (за текст и графики)

Посредством локализираните експерименти можете да експериментирате с иконата, графиката за представяне, екранните снимки, популяризиращия видеоклип и/или описанията на приложението си на максимум пет езика. Пробните варианти ще се показват само на потребители, които преглеждат съответната малка обява в магазина на избраните от вас езици.

Ако малката обява в магазина за приложението ви е налице само на един език, локализираните експерименти ще се показват единствено на потребители, които преглеждат приложението ви на стандартния му език.

Стъпка 1: Създайте експеримент

За да създадете експеримент в Play Console:

  1. Отворете Play Console и страницата Експерименти с малката обява в магазина (Растеж > Присъствие в Google Play Магазин > Експерименти с малката обява в магазина).
  2. Кликнете върху Създаване на експеримент.
  3. Въведете подробностите за експеримента:
    • Име на експеримента: Въведете името на експеримента (до 50 знака).
    • Малка обява в магазина: Изберете малката обява в магазина, за която искате да проведете този експеримент.
    • Тип експеримент: Изберете Експеримент със стандартните графични активи или Локализиран експеримент.
  4. Кликнете върху Напред.
  5. Изпълнете инструкциите под „Стъпка 2: Настройте експеримента“.

Стъпка 2: Настройте експеримента

След като създадете експеримент, можете да изберете малката обява в магазина, вариантите и атрибутите, които искате да тествате.

За да настроите експеримента си:

  1. Изпълнете инструкциите на екрана, за да изберете малка обява в магазина и да добавите целите на експеримента (като например целеви показател, аудитория на експеримента, варианти) и други настройки.
  2. За да започнете експеримента си, в горната част на страницата кликнете върху Стартиране на експеримента.
  3. За да завършите настройването му по-късно, кликнете върху Запазване.
Вижте описания на полетата, примери и съвети

Когато настройвате експеримента си, трябва да предоставите долупосочената информация за малката обява в магазина.

Поле Описание Примери и съвети
Име на експеримента

Служи само за идентифицирането на експеримента в Play Console и не е видимо за потребителите.

  • „Експеримент с ярка икона“
  • „Графика за представяне на лого“
  • „Кратко описание с ново мото“
Малка обява в магазина Малката обява в магазина (основна или персонализирана), която искате да тествате.

След като започнете експеримент, персонализираната ви малка обява в магазина се показва с името, което е имала в началото на експеримента. Ако актуализирате това име след началото на експеримента, то няма да бъде променено до края му.

За избягване на объркването при провеждане на експерименти е добре да изтривате неизползваните персонализирани малки обяви в магазина и да създавате нови, когато е необходимо.


Когато настройвате експеримента си, трябва да предоставите долупосочената информация за целите му. Тези настройки ще засегнат точността на експеримента ви и определят колко хора трябва да инсталират приложението ви, за да се постигне резултат.

Поле Описание Примери и съвети
Целеви показател Показателят, който ще се използва за определяне на резултата от експеримента.

Имате две възможности:

  • Потребители, които са инсталирали приложението за първи път и са го запазили (препоръчително): Броят потребители, които са инсталирали приложението ви за първи път и са го запазили в продължение на поне 1 ден.
  • Потребители, инсталирали приложението за първи път: Броят потребители, които са инсталирали приложението ви за първи път, независимо от това дали са го запазили.
Варианти Броят експериментални варианти за тестване спрямо текущата малка обява в магазина. Експериментът ви ще отнеме по-малко време, ако тествате само един вариант.

За да добавите нова версия към експеримента си, изберете друга опция от падащото меню „Варианти“.

Можете да добавите до 3 варианта на експеримент в допълнение към текущата си версия.

Аудитория на експеримента

Процентът от посетителите на малката обява в магазина, които ще виждат експериментален вариант вместо текущата малка обява.

Посетителите ще бъдат разпределени поравно между вариантите в експеримента ви.

Ако въведете „30%“ за аудиторията си, останалите 70% от посетителите на страницата „Малка обява в магазина“ ще виждат текущата ѝ версия.

В случай че сте посочили „30%“ за аудиторията и имате два варианта в експеримента си, всеки от тях ще бъде показан на 15% от потребителите.

По време на експеримент всеки потребител ще вижда само един вариант или текущата версия на страницата ви.

Минимална стойност на ефекта Минималната необходима разлика между вариантите и контролната версия за определяне на по-ефективната версия. Ако разликата е по-малка от посочената, резултатът от експеримента ви ще бъде равенство.  
Ниво на доверителност Колко често предоставеният от експеримента доверителен интервал ще съдържа реалната ефективност на малката обява в магазина.

Увеличаването на нивото на доверителност ще намали вероятността за получаване на неверни положителни резултати.

Забележка: Избирането на ниво на доверителност от 90% за експеримента ви означава, че за един от десет експеримента е възможен невярно положителен резултат.

Атрибути

Изберете типа елемент, който искате да тествате и сравните с текущата си малка обява.

За най-ефективно провеждане на експериментите тествайте по един атрибут.

При локализиран експеримент можете да тествате само краткото и пълното описание.

Ако тествате графични активи, трябва да спазвате изискванията за размер и файлов тип.


Ако кликнете върху Редактиране на прогнозните стойности, когато въвеждате информацията за целите за експеримента, можете да редактирате прогнозните дневни стойности, посочени по-долу. Тези стойности помагат за изчисляването на продължителността на експеримента. Те може да се различават от действителните резултати.

Поле Описание Примери и съвети
Посещения за деня от нови потребители Прогнозният брой посетители на малката обява в магазина, които не са инсталирали приложението ви преди това.  
Процент на реализация Прогнозният процент на реализация от посетители за целевия ви показател.

Ако например целевият ви показател е потребители, инсталирали приложението за първи път, процентът на реализация ще бъде прогнозният процент посетители, които ще осъществят реализация и ще станат потребители, инсталирали приложението за първи път.

Дневен брой потребители, които са инсталирали приложението за първи път и са го запазили

Прогнозният брой потребители, които ще инсталират приложението ви за първи път и няма да го деинсталират след 1 ден.

Отворете Описания на статистическите данни и показателите и примери, за да научите повече.
Дневен брой потребители, които са инсталирали приложението за първи път

Прогнозният брой потребители, които ще посетят малката ви обява в магазина и ще инсталират приложението ви за първи път.

Отворете Описания на статистическите данни и показателите и примери, за да научите повече.

Стъпка 3: Преглед и прилагане на резултатите

За да прегледате и приложите резултатите:

  1. Отворете Play Console и страницата Експерименти с малката обява в магазина (Растеж > Присъствие в Google Play Магазин > Експерименти с малката обява в магазина).
  2. В таблицата изберете стрелката за надясно на реда с експеримента, който искате да прегледате. Прегледайте Таблици с експерименти с малката обява в магазина по-долу, за да научите повече за начина, по който се показват подробностите.
  3. В секцията „Резултати“ можете да прегледате обобщена информация за резултатите от експеримента си. Резултатите са въз основа на целевия ви показател.

    Резултатите ще ви покажат кои варианти са най-ефективни, както и кои са по-ефективни от текущата ви малка обява в магазина. Също така ще видите обяснение за този резултат въз основа на доверителния му интервал и минималната стойност на ефекта, както и препоръчително действие (ако е приложимо). Ако не са събрани достатъчно данни за извеждане на резултат, е възможно да получите резултата „Необходими са още данни“.
     
  4. Следващото ви действие зависи от резултатите от експеримента:
    • Ако даден вариант се е представил добре, може да видите препоръка за прилагането му.
    • Ако резултатът е „Продължете с провеждането на експеримента си, за да съберете още данни“, върнете се отново по-късно.
    • Ако няколко варианта са по-ефективни от малката ви обява в магазина или ако резултатът е „равенство“, прегледайте резултатите, за да решите кой вариант искате да приложите.
    • В случай че текущата ви малка обява в магазина е най-ефективна, трябва да кликнете върху Запазване на текущата малка обява.
Таблици с експерименти с малката обява в магазина

След като настроите експерименти, ще видите следните подробности на страницата Експерименти с малката обява в магазина. Подробностите за експеримента са организирани в четири таблици, както е посочено по-долу. За да получите повече информация, в таблицата изберете стрелката за надясно на реда с експеримента, който искате да прегледате.

Чернови

  • Име на експеримента: Името на експеримента ви.
  • Малка обява в магазина: Малката обява в магазина, за която се провежда експериментът.
  • Тип експеримент: Със стандартните графични активи или локализиран.
  • Подробности: Броят варианти, показвани на процента целеви потребители.

Започнати

  • Име на експеримента: Името на експеримента ви.
  • Малка обява в магазина: Малката обява в магазина, за която се провежда експериментът.
  • Тип експеримент: Със стандартните графични активи или локализиран.
  • Начална дата: Кога е стартирал експериментът ви.
  • Подробности: Броят показвани варианти и процентът потребители.

Завършени

  • Име на експеримента: Името на експеримента ви.
  • Малка обява в магазина: Малката обява в магазина, за която се провежда експериментът.
  • Тип експеримент: Със стандартните графични активи или локализиран.
  • Начална дата: Кога е стартирал експериментът ви.
  • Подробности: Броят показвани варианти и процентът потребители.
  • Резултат: Резултатът от експеримента ви.

Минали експерименти

  • Име на експеримента: Името на експеримента ви.
  • Малка обява в магазина: Малката обява в магазина, за която се провежда експериментът.
  • Тип експеримент: Със стандартните графични активи или локализиран.
  • Начална дата: Кога е стартирал експериментът ви.
  • Крайна дата: Кога е приключил експериментът ви.
  • Състояние: Приложен или неприложен.
Описания на статистическите данни и показателите и примери

След като изберете експеримент, можете да прегледате показатели за потребителите и инсталиранията, предоставящи обобщена информация за ефективността на всеки вариант.

Показатели за потребителите

Показател Определение
Хора, инсталирали приложението за първи път

Отделни потребители, които са инсталирали приложението ви за първи път по време на експеримента. Данните са коригирани, за да се отчете делът от аудиторията.

Трайни потребители (1 ден)

Отделни потребители, които са инсталирали приложението ви за първи път и са го запазили поне 1 ден след това по време на експеримента. Данните са коригирани, за да се отчете делът от аудиторията.

Задържани предварителни регистрации – налице само за избрани партньори на Google Play Броят потребители, които са се регистрирали предварително и са се задържали в това състояние поне един ден.

Резултати

Можете да прегледате показателите за резултатите от експеримента по два различни начина:

  • Текущи данни: Брой отделни потребители.
  • Коригиран брой: Брой отделни потребители, разделен на дела от аудиторията.

Ако искате да прегледате абсолютния брой на хората, инсталирали приложението, използвайте текущите данни. В случай че искате да видите данните, пропорционално увеличени, за да се вземат предвид различните дялове от аудиторията (напр. ако 90% от аудиторията ви са видели една версия, а 10% – друга), използвайте коригирания брой.

Елемент Определение и примери
Ефективност

Прогнозната промяна в ефективността на инсталиранията в сравнение с текущата версия. Ефективността ще се показва само след събиране на достатъчно данни от експеримента. По принцип при по-дълъг период на провеждане на експеримента обхватът на ефективността на варианта ще става по-тесен и по-точен с натрупването на повече информация.

Например: Ако обхватът на ефективността на един от вариантите е от +5% до +15%, промяната попада някъде между тези стойности, като най-вероятната промяна в ефективността ще бъде средното число между двете стойности – около +10%.

Инсталирания (коригиран брой)
  • Броят инсталирания по време на експеримента, разделени на дела от аудиторията.
  • Включително за експерименти, стартирани преди 24 януари 2019 г.
  • Ако например сте провели експеримент с два варианта, за които сте използвали съответно 90- и 10-процентов дял от аудиторията, и инсталиранията за всеки вариант са били А = 900 и Б = 200, коригираният брой инсталирания ще бъде показан като А = 1000 (900/0,9) и Б = 2000 (200/0,1).
Инсталирания (настоящи)
  • Броят инсталирания, които са останали и сега.
  • Включително за експерименти, стартирани преди 24 януари 2019 г.

Показатели за инсталиранията (оттеглени)

Следните показатели бяха използвани за експерименти, стартирани преди 24 януари 2019 г. Експериментите, започнали преди тази дата, пак ще включват съответните статистически данни, но за новите експерименти ще се използват само показателите „Хора, инсталирали приложението за първи път“ и „Трайни потребители (1 ден)“.

Показател Определение и примери
Инсталирания на активни устройства
  • Броят активни устройства, на които понастоящем е инсталиран всеки вариант на приложението, пропорционално увеличен, за да компенсира различните нива на аудиторията.
Инсталирания от потребител
  • Броят отделни потребители, които са инсталирали всеки вариант на приложението през даден ден, пропорционално увеличен, за да компенсира различните нива на аудиторията.
Деинсталирания от потребител
  • Броят деинсталирания на всеки вариант на приложението за даден ден, пропорционално увеличен, за да компенсира различните нива на аудиторията.

Експерименти, използващи оттеглени показатели

От септември 2019 г. експериментите, които използват някой от посочените по-горе оттеглени показатели, автоматично ще бъдат прекратени. Моля, вземете това предвид при планирането и използвайте най-новите показатели за експериментите с малката обява в магазина.

Можете да преглеждате резултатите от прекратените експерименти в съответната секция на страницата Експерименти с малката обява в магазина.

Регистриране за известия за експерименти

За да получавате известия и имейли, когато експериментите ви завършат, трябва да зададете предпочитанията си на страницата Известия в Play Console.

За да научите повече за известията по имейл, отворете Управление на информацията за профила ви на програмист.

Това полезно ли бе?

Как можем да направим подобрения?

Нуждаете се от още помощ?

Изпробвайте следните стъпки:

false
Търсене
Изчистване на търсенето
Затваряне на търсенето
Главно меню
1932068492606569061
true
Търсене в Помощния център
true
true
true
true
true
92637
false
false