Omówienie
Eksperymenty dotyczące cen pozwalają przeprowadzać testy A/B oraz wykorzystywać wyniki do precyzyjnego i dokładnego dostosowywania cen w aplikacji zgodnie z siłą nabywczą na różnych rynkach na całym świecie. Możesz też używać eksperymentów cenowych do testowania różnych pułapów cenowych w porównaniu z ceną kontrolną na najważniejszych rynkach w celu zwiększenia przychodów. Ustawienie optymalnych cen produktów w aplikacji w różnych krajach i regionach daje pewność, że stosujesz najlepszą strategię cenową, która pozwala zwiększać przychody i jednocześnie przyciągać nowych użytkowników. Ta funkcja działa na podstawie danych dotyczących cen produktów w aplikacji i sprzedaży, dlatego musisz być deweloperem, aby z niej korzystać.
Przygotowywanie i przeprowadzanie eksperymentu cenowego
W sekcjach poniżej znajdziesz wskazówki i ważne informacje dotyczące przygotowywania i przeprowadzania eksperymentów dotyczących cen oraz analizowania ich wyników.
Zanim zaczniesz
Zanim skonfigurujesz w Konsoli Play eksperyment dotyczący cen, rozwiń i przeczytaj wszystkie sekcje poniżej.
Wymagania wstępne- W eksperymentach możesz używać tylko aktywnych produktów w aplikacji.
- Aby korzystać z eksperymentów dotyczących cen, użytkownicy muszą mieć uprawnienia Zarządzanie obecnością w sklepie i Wyświetlanie danych finansowych.
Informacje ogólne
- Eksperymenty są dostępne tylko na poziomie aplikacji. Nie możesz przeprowadzać eksperymentów obejmujących kilka aplikacji.
- Maksymalny czas trwania eksperymentu to 6 miesięcy. Po upływie tego czasu zostaną przywrócone pierwotne ceny. Są one również przywracane po upływie 14 dni od osiągnięcia istotności statystycznej.
- W ramach jednego eksperymentu możesz przetestować maksymalnie 1000 produktów w aplikacji.
- Przez 30 dni od daty zakończenia oryginalnego eksperymentu nie możesz rozpocząć takiego samego eksperymentu dotyczącego pokrywających się produktów w aplikacji i pokrywających się krajów.
- Eksperymentów nie można wstrzymywać. Można je tylko uruchamiać i całkowicie wyłączać. Zatrzymanego eksperymentu nie możesz uruchomić ponownie.
Limity dotyczące krajów/regionów
- W danym kraju lub regionie możesz prowadzić jednocześnie tylko jeden eksperyment. Jeśli na przykład przeprowadzasz już eksperyment w Norwegii, bez zakończenia go nie możesz uruchomić kolejnego eksperymentu w tym kraju.
- Testowana cena musi mieścić się w zdefiniowanych przedziałach cenowych zakupów w aplikacji. Jeśli w ramach eksperymentu wartość procentowa wykracza poza określony przedział cenowy w danym kraju/regionie, automatycznie zostanie zatrzymana na wartości granicznej.
- W ramach jednego eksperymentu możesz dodać maksymalnie 2 warianty cenowe i wartość kontrolną.
- Eksperymenty są wdrażane tylko w wybranych krajach/regionach, a nie na powiązanych terytoriach zależnych z inną stawką podatku. Jeśli np. prowadzisz eksperyment we Francji, nie obejmuje to powiązanych terytoriów francuskich (Gujana Francuska, Gwadelupa, Majotta, Martynika, Nowa Kaledonia, Polinezja Francuska, Reunion, Saint-Barthélemy, Saint-Martin, Saint-Pierre i Miquelon, Wallis i Futuna).
Zmiany dotyczące produktów w aplikacji
- Nie możesz zmienić ceny produktu w aplikacji, który jest objęty prowadzonym eksperymentem. Aby zmienić cenę, musisz zatrzymać eksperyment. Uwaga:
- Jedynym wyjątkiem jest przeprowadzenie 2 eksperymentów i zastosowanie wyników pierwszego eksperymentu. Jeśli produkt w aplikacji jest powiązany z szablonem cen, możesz zmienić ceny tego produktu tylko w krajach, w których nie przeprowadzano eksperymentów.
- Jeśli w trakcie aktywnego eksperymentu skonfigurujesz nowy produkt w aplikacji, zostanie on pominięty.
Przeprowadzanie eksperymentów i stosowanie wyników
- Możesz zastosować ceny w dowolnym momencie, ale zalecamy, aby zaczekać na uzyskanie istotnych statystycznie wyników i zastosować tylko te zmiany cen, które mają większą skuteczność niż grupa kontrolna.
- Do trwającego eksperymentu nie możesz dodawać kolejnych krajów/regionów ani produktów.
- Jeśli co najmniej 1 z produktów jest powiązany z szablonem cen, zastosowanie tych cen spowoduje zaktualizowanie cen w kraju lub regionie objętym eksperymentem i odłączenie tych produktów od szablonów.
W eksperymentach często jest używana terminologia statystyczna. Jeśli nie znasz tych terminów, zajrzyj do glosariusza poniżej.
| Termin | Definicja | Uwagi |
|---|---|---|
| Przedział ufności |
Zakres wartości określających niepewność, czy wynik jest statystycznie istotny. |
Jest to najważniejszy sygnał potrzebny do interpretacji wyników eksperymentu. Istotność statystyczna jest określana, gdy przedział ufności nie ma części wspólnej z 0. Może ona nie być widoczna przez kilka pierwszych dni z powodu małej ilości danych. |
| Poziom ufności |
Prawdopodobieństwo, że zaobserwowana różnica między wariantem a wersją kontrolną jest prawdziwa. Przykład: poziom ufności wynoszący 90% oznacza, że w 10% przypadków obserwowana różnica jest najprawdopodobniej przypadkowa. Oznacza to, że jeśli nie ma różnicy między wersją kontrolną a wariantem, prawdopodobieństwo, że testowane dane mogą wystąpić, jest mniejsze niż 10%. |
|
| Wartość kontrolna | Oryginalna zmienna testowa (zawierająca pierwotną cenę zakupu w aplikacji) w grupie eksperymentalnej. | Cena kontrolna jest widoczna dla części grupy użytkowników objętych eksperymentem zdefiniowanej podczas konfiguracji, a także dla wszystkich użytkowników nieobjętych eksperymentem. |
| Wynik eksperymentu | Rezultat eksperymentu. | Możliwe wyniki eksperymentu znajdziesz w sekcji poniżej. |
| Fałszywie dodatni | Gdy zdarzenie o wartości ujemnej jest nieprawidłowo skategoryzowane jako dodatnie. |
Jeśli wykryjemy, że różnica w wydatkach między grupą kontrolną a testową jest statystycznie istotna (dodatnia), ale różnica w wydatkach między grupą kontrolną a testową nie jest istotna statystycznie (ujemna), jest ona uważana za fałszywie dodatnią. Współczynnik wyników fałszywie dodatnich to stosunek liczby wyników fałszywie dodatnich i łącznej liczby rzeczywistych zdarzeń o wartości ujemnej. |
| Produkty w aplikacji |
Produkty, za które użytkownicy są obciążani jednorazowo. Produktami w aplikacji w Google Play mogą być na przykład wirtualne towary (takie jak poziomy w grze czy mikstury) lub usługi płatne. |
Możesz wybrać wiele produktów w aplikacji (maksymalnie 2 tys.). Ogólnie im więcej danych, tym mniej czasu na wykrywanie różnicy między wersją kontrolną a wariantem, jeśli taka różnica występuje. Eksperymentowanie ze zmianą ceny wielu produktów może zmniejszyć ryzyko kanibalizacji. |
| Minimalny wykrywalny efekt (MDE) |
Opcja wybierana podczas konfigurowania eksperymentu wskazująca, na jakim poziomie poprawy efekt ma być wykrywany. Innymi słowy decydujesz o tym, jak czuły ma być eksperyment, co wpływa na szacowany czas oczekiwania na istotność statystyczną. Po wybraniu MDE zobaczysz szacowany czas potrzebny do uzyskania wyników istotnych statystycznie na podstawie wybranych przez Ciebie danych historycznych. Na przykład mniejszy MDE oznacza eksperyment o większej czułości, który wydłuża czas obliczania istotności statystycznej. |
|
| Efekt nowości | Zjawisko, w którym użytkownicy wolą korzystać z nowych funkcji (np. nowych produktów lub pułapów cenowych) lub je wypróbowywać, nawet jeśli nie są lepsze ani bardziej atrakcyjne niż ich pierwotne odpowiedniki. W takim przypadku wzrost zwykle zanika z upływem czasu. | Eksperymenty, które szybko się kończą, mogą być podatne na efekt nowości. Aby uwzględnić to zjawisko, zalecamy używanie szacowanej liczby tygodni do obliczenia istotności statystycznej. |
| Istotność statystyczna | W teście A/B jest to ustalenie, czy różnica między grupą kontrolną a wariantem jest prawdziwa czy przypadkowa. |
Jeśli przedział ufności nie zawiera w efekcie wartości „0”, uznajemy to za wynik istotny statystycznie. W naszym przypadku efektem jest różnica między wydatkami w ramach grupy kontrolnej i wariantu. W sekcji Najczęstsze pytania znajdziesz kilka wizualnych przykładów przedziałów ufności. |
| Wariant | Odmiana pierwotnej zmiennej testowej dla grupy eksperymentalnej. | Wariant jest wynikiem wzrostu lub obniżki ceny pierwotnego zakupu w aplikacji. |
Tworzenie eksperymentu
Zalecamy, aby podczas konfigurowania eksperymentu uwzględnić w nim wszystkie wymienne produkty w aplikacji (np. walutę w grze), co pozwoli ograniczyć kanibalizację.
Jeśli pracujesz z małymi ilościami danych, prawdopodobnie nie będziesz mieć wystarczających danych, aby wyciągnąć wnioski z eksperymentu. Jeśli np. prowadzisz eksperyment z nowym produktem, szacowany czas trwania i ostrzeżenia mogą być niedokładne. W takim przypadku w Konsoli Play może pojawić się ostrzeżenie, że w wybranym przedziale czasu ilość danych będzie bardzo mała. Jeśli widzisz komunikat o małej ilości danych, możesz nie mieć wystarczających danych do przeprowadzenia eksperymentu lub możesz mieć możliwość dostosowania parametrów eksperymentu. Oto zalecane działania, które pomogą Ci rozwiązać problemy z małą ilością danych.
Jeśli natomiast prowadzisz dłuższy eksperyment, pamiętaj, że na wyniki mogą wpływać czynniki ekonomiczne, takie jak wahania kursów walut na przestrzeni czasu.
Część 1. Dodawanie szczegółów
Aby dodać szczegóły eksperymentu:
- Otwórz Konsolę Play i wejdź na stronę Eksperymenty dotyczące cen (Zarabianie > Eksperymenty dotyczące cen).
- Kliknij Utwórz eksperyment.
- W sekcji „Dodaj szczegóły” podaj nazwę eksperymentu i jego krótki opis (opcjonalnie).
- Uwaga: użytkownicy nie widzą nazwy ani krótkiego opisu eksperymentu.
- Wybierz kraje/regiony, których ma dotyczyć eksperyment.
- Ważne: eksperymenty dotyczące cen są przeprowadzane tylko w wybranym kraju/regionie, a nie na powiązanych terytoriach. Jeśli np. wybierzesz Francję, eksperymenty dotyczące cen będą prowadzone tylko we Francji, a nie w powiązanych z nią regionach, takich jak Gujana Francuska.
- W menu Produkty wybierz produkty w aplikacji, których ma dotyczyć eksperyment. W menu znajdują się dostępne nazwy produktów, identyfikatory i ceny.
- Ważne: jeśli wybierzesz produkt w aplikacji powiązany z szablonem cen, na czas trwania eksperymentu szablon zostanie zablokowany.
- Wybierz datę rozpoczęcia. Eksperyment rozpocznie się o 00:00 czasu PT w wybranym dniu. Możesz zaplanować rozpoczęcie eksperymentu w przyszłości.
- Kliknij Dalej, aby dodać warianty do eksperymentu.
Jeśli na podstawie konfiguracji eksperymentu przewidujemy, że ilość danych będzie zbyt mała, aby mogła zapewnić istotność statystyczną, pojawi się ostrzeżenie. W takim przypadku zalecamy wprowadzenie poprawek, aby zgromadzić ilość danych wystarczającą do osiągnięcia istotności statystycznej. Aby dowiedzieć się, co zrobić dalej, zapoznaj się z sekcją Zalecane działania w przypadku niewielkiej ilości danych.
Zalecane działania w przypadku niewielkiej ilości danychPodane niżej zalecenia pomogą Ci zmienić ilość danych wymaganą do uzyskania istotności statystycznej, co skróci czas trwania eksperymentu.
|
Etap konfiguracji eksperymentu |
Zalecane działania |
|---|---|
| Część 1. Dodawanie szczegółów | Zwiększ liczbę krajów lub regionów objętych eksperymentem. |
| Część 1. Dodawanie szczegółów | Przetestuj wszystkie produkty w aplikacji lub zwiększ liczbę produktów w aplikacji. |
| Część 2. Dodawanie wariantów | Zmniejsz liczbę wariantów z 2 do 1. |
| Część 2. Dodawanie wariantów |
Eksperymentuj z obniżeniem ceny o większą wartość procentową (niższa cena). Uwaga: nie wpłynie to na początkowe oszacowanie, ale będzie pomocne podczas przeprowadzania eksperymentu. |
| Część 3. Zarządzanie ustawieniami | Zwiększ wielkość grup odbiorców w poszczególnych wariantach (np. grupa kontrolna 50% i grupa eksperymentalna 50%). |
| Część 3. Zarządzanie ustawieniami |
Zwiększ minimalny wykrywalny efekt. Uwaga: dotyczy to tylko eksperymentów, w których warianty i grupa kontrolna miały takie same wyniki. |
| Część 3. Zarządzanie ustawieniami | Obniż poziom ufności. |
Część 2. Dodawanie wariantów
W sekcji „Dodaj warianty” możesz dodawać i usuwać warianty cen. Eksperyment dotyczący cen musi mieć co najmniej 1 wariant. Aby dodać warianty:
- W menu wybierz Wzrost ceny lub Obniżka ceny i podaj wartość procentową, którą chcesz zastosować. Uwaga:
- Musisz wpisać liczbę całkowitą.
- Jeśli wybierzesz opcję Obniżka ceny, musisz podać wartość z zakresu od 1 do 99.
- Jeśli wybierzesz Wzrost ceny, musisz podać wartość z zakresu od 1 do 999.
- Gdy dodasz wariant, na stronie pojawi się kontrolny przedział cenowy oraz przedział cenowy wariantu. Możesz kliknąć Wyświetl ceny produktów, aby uzyskać więcej informacji, w tym nazwy i identyfikatory produktów, terytoria zależne z inną stawką podatku (w stosownych przypadkach) oraz informacje o podatkach. Tutaj możesz zobaczyć rzeczywistą procentową zmianę ceny po zastosowaniu kursu wymiany i wzorców cenowych związanych z krajem.
- Jeśli chcesz uwzględnić w eksperymencie kilka wariantów, kliknij + Dodaj kolejny wariant i powtórz czynności opisane powyżej. Na tej stronie znajdziesz też kontrolny przedział cenowy i wariant przedziału cenowego.
- Kliknij Dalej, aby kontynuować konfigurowanie ustawień eksperymentu.
Część 3. Zarządzanie ustawieniami
W sekcji „Zarządzaj ustawieniami” możesz ustawić parametry kierowania, aby dostosować eksperyment. Aby zarządzać ustawieniami eksperymentu:
- Podaj odbiorców eksperymentu. Jest to odsetek użytkowników, którzy wezmą udział w eksperymencie. Użytkownicy zostaną podzieleni po równo pomiędzy wszystkie warianty oraz grupę kontrolną. Użytkownicy, którzy nie uczestniczą w eksperymencie, także będą widzieć cenę pierwotną (kontrolną), ale nie zostaną uwzględnieni w analizie eksperymentu.
- Uwaga: musisz wpisać liczbę całkowitą od 1 do 100.
- Podaj swój poziom ufności. Niższy poziom ufności zwiększy prawdopodobieństwo wyniku fałszywie dodatniego, ale skróci czas działania eksperymentu.
- Podaj minimalny wykrywalny efekt. Ta opcja wskazuje, na jakim poziomie poprawy efekt ma być wykrywany. Innymi słowy decydujesz o tym, jak czuły ma być eksperyment. Spowoduje to zmianę szacowanego czasu do obliczenia istotności statystycznej.
- Sprecyzuj parametry kierowania, aby dostosować eksperyment. Jako wytycznej możesz użyć szacowanego czasu do obliczenia istotności statystycznej w ramach konfiguracji.
Część 4. Uruchamianie eksperymentu
Możesz już rozpocząć eksperyment. W trakcie eksperymentu zmienią się ceny obowiązujące w przypadku wybranych produktów w aplikacji i krajów/regionów. Eksperyment możesz zakończyć w każdej chwili.
- Przed rozpoczęciem eksperymentu potwierdź, że rozumiesz te kwestie:
- Eksperyment może wpłynąć na przychody z aplikacji. Pamiętaj, że bez statystycznie istotnych wyników dodatnia lub ujemna zmiana przychodów może być niemiarodajna, dlatego zalecamy poczekać do osiągnięcia istotności statystycznej.
- W trakcie eksperymentu nie możesz edytować cen wybranych produktów w aplikacji.
- Zastosowanie wyników eksperymentu będzie miało wpływ na wszystkie uwzględnione kraje/regiony oraz produkty w aplikacji.
- Kliknij Potwierdź i uruchom.
Opcjonalnie: kończenie eksperymentu
Eksperyment możesz zakończyć w każdej chwili.
- Otwórz Konsolę Play i wejdź na stronę Eksperymenty dotyczące cen (Zarabianie > Eksperymenty dotyczące cen).
- Otwórz eksperyment, który chcesz zakończyć.
- Kliknij Zakończ eksperyment.
Po zakończeniu eksperymentu zostaną przywrócone pierwotne ceny obowiązujące w przypadku wybranych krajów/regionów i produktów w aplikacji. Eksperyment i analiza nie będą już aktywne.
Jeśli zaplanujesz następny eksperyment, możesz go anulować, wykonując czynności opisane powyżej. Eksperymenty, które zostaną anulowane w ciągu 24 godzin od zaplanowanej daty rozpoczęcia, niekiedy stają się tymczasowo aktywne.
Wyświetlanie wyników eksperymentu i stosowanie wariantów
Warto znać różne możliwe wyniki eksperymentu oraz ich znaczenie dla aplikacji i powiązanej strategii cenowej. Przed zastosowaniem wyników przeczytaj uważnie tę sekcję
Wyświetlanie i analizowanie wyników eksperymentu
Jeśli wyniki zostaną uznane za istotne statystycznie, pojawią się one na stronie analizy eksperymentu i otrzymasz powiadomienie w skrzynce odbiorczej.
Wyświetlanie wyniku
Otwórz eksperyment, aby wyświetlić wynik i analizę. Wejdź na stronę Eksperymenty dotyczące cen (Zarabianie > Eksperymenty dotyczące cen) i kliknij strzałkę w prawo obok eksperymentu, aby wyświetlić stronę analizy.
Wynik jest widoczny u góry strony. Rozwiń sekcję Możliwe wyniki eksperymentu, aby zobaczyć różne wyniki i ich znaczenie. Pod wynikiem eksperymentu możesz przeczytać jego krótki opis. Możesz np. zobaczyć „Wariant [X] osiągnął najlepszy wynik” nad krótkim objaśnieniem, które może np. brzmieć: „Wariant [X] osiągnął najwyższe przychody”. W takim przypadku, jeśli wariant osiągnął wynik wersji kontrolnej lub lepszy, możesz kliknąć Zastosuj wariant [X], aby zastosować wariant i odpowiednio zaktualizować cenę produktu w aplikacji. Więcej informacji znajdziesz w sekcji Stosowanie wariantów.
Uwaga: eksperymenty kończą się automatycznie 14 dni po uzyskaniu wyniku. Możesz też kliknąć Zakończ eksperyment, aby zakończyć go od razu.
Wyświetlanie danych pomocniczych
Tabela widoczna pod wynikiem zawiera dane, na których jest oparty wynik statystyczny. Tabela obejmuje warianty, przychody, przychody w porównaniu z grupą kontrolną (również w ujęciu procentowym), a także przedział ufności wariantów. Jeśli chcesz zapoznać się z różnymi danymi na stronie analizy eksperymentu, rozwiń sekcję Definicje danych.
W sekcji „Dodatkowe dane” pod tabelą znajdziesz bardziej szczegółowe informacje. Domyślnie na wykresie wyświetlają się najnowsze dostępne dane dotyczące przychodów w porównaniu z informacjami o grupie kontrolnej. W tym widoku zacieniony obszar przedstawia przedział ufności. Wykres pozwala sprawdzić, jak zmienia się przedział ufności w czasie. Wybrany czas trwania i daty możesz dostosować za pomocą filtrów w prawym górnym rogu wykresu.
Przy użyciu filtra danych w lewym górnym rogu wykresu możesz też wyświetlać te dane: Przychody, Zamówienia, Kupujący, Odsetek kupujących, ARRPU (szczegóły znajdziesz też w sekcji Definicje danych). Jeśli wybierzesz inną wartość, wykres nie wyświetli przedziału ufności, ponieważ jest on obliczany na podstawie przychodów.
Aby wyświetlić więcej informacji na poziomie produktu, możesz też wyeksportować wyniki eksperymentu do pliku CSV. Pola, formatowanie i przykłady dotyczące eksportu CSV możesz sprawdzić, rozwijając sekcję Definicje danych (eksport CSV).
Stosowanie wariantów
Zanim zastosujesz wariant, pamiętaj o tych kwestiach:
- Jeśli co najmniej jeden z produktów w aplikacji jest powiązany z szablonem cen, zastosowanie tych wariantów spowoduje zaktualizowanie cen w kraju lub regionie objętym eksperymentem i odłączenie tych produktów w aplikacji od szablonów.
- Wariant możesz zastosować jedynie do wszystkich produktów w aplikacji oraz krajów/regionów w eksperymencie. Istotność statystyczną obliczamy dla całej konfiguracji, więc nie możemy zagwarantować tego samego wyniku, jeśli zastosowano tylko część skonfigurowanych krajów/regionów konfiguracji i produktów w aplikacji.
Jeśli warianty osiągnęły wyniki porównywalne z grupą kontrolną lub lepsze, możesz zmienić ceny, stosując dany wariant:
- Otwórz Konsolę Play i wejdź na stronę Eksperymenty dotyczące cen (Zarabianie > Eksperymenty dotyczące cen).
- Kliknij Zastosuj wariant obok wariantu, który chcesz zastosować.
Ceny aplikacji zostaną zaktualizowane zgodnie z konfiguracją wariantu. Eksperyment kończy się automatycznie po 14 dniach od uzyskania wyników. Możesz też kliknąć Zakończ eksperyment, aby zakończyć go od razu.
Możliwe wyniki eksperymentuEksperyment może mieć wiele różnych wyników. Wynik eksperymentu określa, co należy zrobić dalej.
| Wynik eksperymentu | Znaczenie | Uwagi/zalecenia |
|---|---|---|
| Wariant [X] osiągnął najlepszy wynik | Wariant [X] jest istotny statystycznie – osiągnął rzetelny wynik przy największym wzroście przychodów. | Zastosuj wariant [X], ponieważ jest on znacznie skuteczniejszy niż wersja kontrolna i pozostałe warianty. |
| Oba warianty osiągnęły lepsze wyniki niż wersja kontrolna | Oba warianty uzyskały większe przychody niż wersja kontrolna. Zapoznaj się z wynikami i zdecyduj, który z nich chcesz zastosować. | Ty decydujesz, który wariant chcesz zastosować. |
| Wariant(y) i wersja kontrolna osiągnęły podobne wyniki | Żaden wariant nie uzyskał większych przychodów niż wersja kontrolna. | Eksperyment zebrał wystarczającą ilość danych, a warianty i wersja kontrolna uzyskały porównywalne wyniki. |
| Wersja kontrolna osiągnęła najlepszy wynik | Wersja kontrolna uzyskała większe przychody niż oba warianty. | To sugeruje, że Twoje obecne pułapy cenowe dla krajów objętych eksperymentem oraz produktu zostały już zoptymalizowane. Nadal używaj ceny kontrolnej dla produktów i krajów objętych eksperymentem. |
| Potrzeba więcej danych | Twój eksperyment wciąż trwa. Do uzyskania wyniku istotnego statystycznie potrzeba więcej danych. | Aby dowiedzieć się, co zrobić dalej, zapoznaj się z sekcją Zalecane działania w przypadku niewielkiej ilości danych. |
| Wynik niejednoznaczny | Eksperyment został zatrzymany przedwcześnie lub osiągnął maksymalny czas trwania wynoszący 6 miesięcy. Do uzyskania wyniku istotnego statystycznie potrzeba więcej danych. Spróbuj przeprowadzić nowy eksperyment z inną konfiguracją. | Aby dowiedzieć się, co zrobić dalej, zapoznaj się z sekcją Zalecane działania w przypadku niewielkiej ilości danych. Może to oznaczać, że kupujący obojętnie podchodzą do cen produktów w aplikacji w krajach/regionach objętych eksperymentem. |
Ta tabela zawiera dane ze strony analizy eksperymentu.
| Dane | Definicja |
|---|---|
| Wszystkie przychody z produktów | Przychód brutto od użytkowników, którzy w określonym przedziale czasu kupili produkty w aplikacji w ramach eksperymentu i poza nim. |
| Średni przychód na płacącego użytkownika (ARPPU) | Łączne przychody brutto z produktów w aplikacji podzielone przez liczbę unikalnych kupujących (użytkowników, którzy dokonali co najmniej 1 zakupu produktu w aplikacji w ramach eksperymentu i poza nim) w wybranym okresie eksperymentu. Ten wskaźnik pomoże Ci zrozumieć wartość kupujących dla Twojej firmy. |
| Odsetek kupujących (z 28 dni) |
Odsetek aktywnych użytkowników miesięcznie, którzy podczas eksperymentu dokonali co najmniej 1 zakupu w aplikacji, w tym produktów w aplikacji spoza eksperymentu. Uwaga: te dane są kluczowe dla analizowania konwersji i zwiększenia liczby użytkowników wersji płatnej. |
| Kupujący | Unikalni użytkownicy, którzy w określonym przedziale czasu kupili co najmniej 1 produkt w aplikacji w ramach eksperymentu. |
| Przychody z nowych instalacji | Przychód brutto od użytkowników, którzy po raz pierwszy zainstalowali aplikację na dowolnym urządzeniu po dacie rozpoczęcia eksperymentu i po raz pierwszy zobaczyli cenę eksperymentalną. Niektórzy użytkownicy nie chcą udostępniać tych danych Google. |
| Zamówienia | Liczba zakupów produktów w aplikacji objętych eksperymentem w wybranym okresie. |
| Przychody | Przychód brutto od użytkowników, którzy w określonym przedziale czasu kupili produkty w aplikacji w ramach eksperymentu. |
Ta tabela zawiera pola, formatowanie i przykłady definicji wskaźników danych eksportowanych w pliku CSV.
|
Pole |
Format | Przykłady i uwagi |
|---|---|---|
| Data | Ciąg znaków |
Data zamówienia (czasu pacyficznego) podana w formacie MMM DD, RRRR. |
| Identyfikator SKU | Ciąg znaków |
Określony przez dewelopera unikalny identyfikator produktu w aplikacji. |
| Nazwa produktu | Ciąg znaków |
Nazwa produktu w aplikacji określona przez dewelopera. |
| Kraj | Ciąg znaków |
Unikalny kod kraju do określania odpowiednich danych o produktach w aplikacji. |
| Grupa eksperymentalna | Ciąg znaków |
Grupa eksperymentalna dotycząca odpowiednich danych produktu w aplikacji. |
| Waluta dewelopera |
Ciąg znaków |
Waluta, w której przetworzono zamówienia. Waluta lokalna, w której sprzedawca otrzymuje wypłatę. |
| Przychody | Liczba |
Łączne przychody brutto z konkretnego produktu w aplikacji z uwzględnieniem daty, kraju i grupy eksperymentalnej. |
| Przychody z nowych instalacji | Liczba |
Przychód brutto od użytkowników, którzy po raz pierwszy zainstalowali aplikację na dowolnym urządzeniu po dacie rozpoczęcia eksperymentu i po raz pierwszy zobaczyli cenę (z uwzględnieniem wybranego produktu w aplikacji, daty, kraju i grupy eksperymentalnej). Niektórzy użytkownicy nie chcą udostępniać tych danych Google. |
| Zamówienia | Liczba |
Łączna liczba zamówień konkretnego produktu w aplikacji z uwzględnieniem daty, kraju i grupy eksperymentalnej. |
| Kupujący | Liczba |
Łączna liczba kupujących określony produkt z uwzględnieniem daty, kraju i grupy eksperymentalnej. Kupujący to użytkownicy, którzy kupili dany produkt w aplikacji podczas eksperymentu. |
Najczęstsze pytania
W jakich krajach lub regionach mogę przeprowadzać eksperymenty?Kraje/regiony kwalifikują się do uwzględnienia w eksperymentach cenowych tylko wtedy, gdy spełniają te kryteria:
- są krajami/regionami z opublikowaną już wersją aplikacji (w tym na ścieżkach testów wewnętrznych);
- są krajami/regionami, które obsługują walutę lokalną.
Jeśli ilość danych jest bardzo mała, te informacje są niedostępne. Niektóre dane wyświetlane na stronie analizy eksperymentu mogą być opóźnione nawet o 7 dni.
Tak. Jeśli eksperyment obejmuje produkt w aplikacji powiązany z szablonem cen, ceny dla poszczególnych krajów/regionów są zablokowane przez cały czas trwania eksperymentu. Nadal możesz jednak zmieniać ceny dla innych krajów/regionów.
Jeśli zdecydujesz się zastosować nowe ceny na koniec eksperymentu, wszystkie objęte nim produkty w aplikacji zostaną odłączone od powiązanych szablonów cen, a szablon cen pozostanie niezmieniony. Jeśli chcesz zastosować wyniki eksperymentu bez rozłączania produktów w aplikacji od szablonów cen, otwórz stronę Szablony cen (Konfiguracja > Szablony cen) i zaktualizuj tam ceny.
Więcej informacji znajdziesz w sekcji poświęconej szablonom cen.
Nie. Ceny w eksperymencie można testować tylko w ramach minimalnych i maksymalnych przedziałów cenowych zdefiniowanych w poszczególnych krajach/regionach. Jeśli przy zmianie ceny podczas konfiguracji eksperymentu cena zbliża się do któregoś z tych limitów, cena minimalna lub maksymalna zostanie automatycznie uwzględniona. Listę przedziałów cenowych i walut obsługiwanych w poszczególnych krajach znajdziesz w artykule Obsługiwane lokalizacje dystrybucji wśród użytkowników Google Play.
Nie. Eksperymenty dotyczące cen możesz przeprowadzać, jeśli korzystasz z integracji z dowolną wersją systemu rozliczeniowego Google Play.
Wszystkie zamówienia w ramach eksperymentu są widoczne w comiesięcznych raportach finansowych do pobrania (raportach o szacunkowej sprzedaży i zarobkach). Możesz sprawdzić, które produkty w aplikacji są testowane w ramach cen kontrolnych i wariantów dla krajów/regionów, w których przeprowadzasz eksperyment dotyczący cen.
Aby uzyskać miarodajne wyniki, nie przeprowadzaj żadnych równoczesnych eksperymentów A/B. Na przykład Firebase działa niezależnie od eksperymentów dotyczących cen w Konsoli Play, a wszelkie zakłócenia obejmujące konkretne produkty w aplikacji mogą wpływać na wiarygodność wyników eksperymentu.
Do obliczania przedziałów ufności korzystamy z metody scyzoryka, czyli narzędzia statystycznego, które umożliwia oszacowanie wariancji przez ponowne próbkowanie. Następnie stosujemy sekwencyjne testowanie prawdopodobieństwa, aby kontrolować zawyżony współczynnik wyników fałszywie pozytywnych wynikający z ciągłego monitorowania. Istotność statystyczna jest określana, gdy przedział ufności nie ma części wspólnej z 0.
Aby korzystać z eksperymentów dotyczących cen, użytkownicy muszą mieć uprawnienia Zarządzanie obecnością w sklepie i Wyświetlanie danych finansowych.
Eksperyment zatrzymuje się automatycznie po 14 dniach od osiągnięcia istotności statystycznej lub po upływie maksymalnie 6 miesięcy. Nie przerywamy eksperymentu po upływie szacowanego czasu trwania podanego w trakcie jego konfiguracji. Zatrzymujemy go po wykryciu istotnej statystycznie różnicy, zapewniając 14 dni na zastosowanie nowych cen przed przywróceniem oryginalnych wartości.
Nie, nie jest to możliwe. W trakcie eksperymentu użytkownik zobaczy tylko jedną cenę.
Nie. Nie jest to możliwe, ponieważ eksperyment zaczął już zbierać wyniki na podstawie początkowo wybranych parametrów. Możesz uruchomić drugi eksperyment równolegle z wybranymi dodatkowymi krajami/regionami albo zakończyć bieżący eksperyment i utworzyć nowy. Jeśli produkty w aplikacji pokrywają się z krajami/regionami, musisz odczekać 30 dni, zanim będzie można skonfigurować nowy eksperyment.
Istotność statystyczna jest obliczana dla wszystkich krajów/regionów w połączeniu z produktami objętymi eksperymentem, a nie niezależnie dla poszczególnych kombinacji. Jeśli interesują Cię korekty cen w konkretnym kraju lub regionie, zalecamy wybranie tylko tego kraju/regionu w ustawieniach eksperymentu.
Tak. Wariant możesz zastosować nawet po przywróceniu oryginalnych cen.
Jeśli produkty w aplikacji objęte eksperymentem nie generują przychodów znacznie różniących się od grupy kontrolnej lub nie ma wystarczającej ilości danych, wyniki są uznawane za niejednoznaczne. Może to oznaczać, że kupujący są obojętni wobec tych 2 cen.
Im większy rozmiar próbki, tym większa skuteczność. Jeśli produkt w aplikacji jest jednym z najpopularniejszych produktów wśród wielu kupujących, warto go przetestować. W przeciwnym razie zachęcamy do przetestowania kilku produktów w aplikacji, aby zwiększyć skuteczność eksperymentu.
Jeśli masz kilka produktów w aplikacji, które są w jakiś sposób wymienne (np. 0,99 USD za 60 jednostek waluty w aplikacji i 4,99 USD za 300 jednostek), zachęcamy do przetestowania obu produktów w aplikacji, aby uniknąć kanibalizacji.
Zasadniczo zalecamy eksperymenty z jednym wariantem – z grupą kontrolną obejmującą produkty w aplikacji z oryginalnymi cenami oraz wariantem z obniżonymi cenami. Eksperyment z 2 wariantami zawiera grupę kontrolną obejmującą produkty w aplikacji z oryginalnymi cenami oraz te same produkty w aplikacji w 2 różnych pułapach cenowych. Interpretowanie wyników takich eksperymentów może być trudne, a osiągnięcie istotności statystycznej w przypadku eksperymentów z 2 wariantami zajmuje więcej czasu niż w przypadku eksperymentów z 1 wariantem.
Jeśli przedział ufności nie zawiera w efekcie wartości „0”, uznajemy to za wynik istotny statystycznie. W naszym przypadku efektem jest różnica między wydatkami w ramach grupy kontrolnej i wariantu.
Oto przykład przedziału ufności z wynikiem jednoznacznie dodatnim:
Oto przykład przedziału ufności z wynikiem jednoznacznie ujemnym:
Oto przykład przedziału ufności z niejednoznacznym wynikiem, który wymaga większej ilości danych:
Tak, stale monitorujemy przypadki podszywania się pod użytkowników i podejmujemy działania, które mają na celu złagodzenie wpływu takich zdarzeń na deweloperów i ich produkty.
Powiązane artykuły
- Dowiedz się więcej o eksperymentach cenowych i powiązanych funkcjach.
- Ukończ kurs w zakresie eksperymentów dotyczących cen w Akademii Google Play.