Aby zapewnić deweloperom większą kontrolę i niezawodność statystyczną, wprowadziliśmy ostatnio kilka zmian w sekcji Eksperymenty dotyczące strony aplikacji w Konsoli Play. Dodaliśmy 3 nowe funkcje:
- konfiguracja parametrów eksperymentu;
- kalkulator, który pomaga oszacować liczbę potrzebnych próbek i czas do zakończenia eksperymentu, oraz
- przedziały ufności, które umożliwiają obecnie stałe monitorowanie eksperymentu.
Zaktualizowaliśmy tę stronę, aby uwzględnić te zmiany.
Funkcje opisane na tej stronie nie są jeszcze dostępne dla wszystkich deweloperów.
Aby lepiej zoptymalizować stronę z informacjami o aplikacji w Google Play, możesz przeprowadzić eksperymenty, które pomogą znaleźć najskuteczniejszą grafikę i tłumaczenie tekstu. Eksperymenty mogą obejmować zarówno strony z głównymi, jak i niestandardowymi informacjami o aplikacji.
W przypadku opublikowanych aplikacji możesz przetestować różne warianty i porównać je z obecną wersją, aby na podstawie danych o liczbie instalacji sprawdzić, który z nich daje najlepsze wyniki. Zanim przygotujesz test, zapoznaj się ze sprawdzonymi metodami przeprowadzania skutecznych eksperymentów.
Uwaga: nazwa globalnych eksperymentów została zmieniona na domyślne eksperymenty graficzne. Funkcje są takie same jak przed zmianą nazwy.
Typy eksperymentów
W przypadku każdej aplikacji możesz przeprowadzić 1 eksperyment dotyczący domyślnej grafiki lub jednocześnie do 5 eksperymentów dotyczących tłumaczeń.
Domyślna grafikaUżywając eksperymentów dotyczących domyślnej grafiki, możesz przetestować różne warianty graficzne na stronie aplikacji w języku domyślnym. Możesz zamieścić warianty ikony aplikacji, grafiki, zrzutów ekranu i filmu promocyjnego.
- Jeśli informacje o aplikacji są dostępne tylko w jednym języku: domyślne eksperymenty graficzne będą widoczne dla wszystkich użytkowników.
- Jeśli masz dodane zlokalizowane zasoby graficzne w określonym języku: użytkownicy wyświetlający Twoją aplikację w tym języku są wykluczani z domyślnych eksperymentów graficznych w Twojej aplikacji. Jeśli na przykład domyślnym językiem Twojej aplikacji jest angielski i ma ona zlokalizowaną grafikę w języku francuskim, to nawet gdy eksperyment będzie dotyczył ikony, użytkownicy przeglądający aplikację w języku francuskim zostaną z niego wykluczeni.
Używając eksperymentów zlokalizowanych, możesz przetestować różne warianty ikony aplikacji, grafiki, zrzutów ekranu, filmów promocyjnych lub opisu aplikacji w maksymalnie pięciu językach. Warianty eksperymentu będą wyświetlane tylko użytkownikom przeglądającym informacje o aplikacji w wybranym języku.
Jeśli strona Twojej aplikacji jest dostępna tylko w jednym języku, eksperymenty zlokalizowane zobaczą wyłącznie użytkownicy wyświetlający stronę w tym języku.
Krok 1. Utwórz eksperyment
Aby utworzyć eksperyment w Konsoli Play:
- Otwórz Konsolę Play i wejdź na stronę Eksperymenty dotyczące strony aplikacji (Rozwój > Obecność w sklepie > Eksperymenty dotyczące strony aplikacji).
- Kliknij Utwórz eksperyment.
- Podaj szczegóły eksperymentu:
- Nazwa eksperymentu: wpisz nazwę eksperymentu (maksymalnie 50 znaków).
- Informacje o aplikacji: wybierz informacje o aplikacji, na których chcesz przeprowadzić ten eksperyment.
- Typ eksperymentu: wybierz Domyślny eksperyment graficzny lub Eksperyment zlokalizowany.
- Kliknij Dalej.
- Przejdź do sekcji „Krok 2. Skonfiguruj eksperyment”.
Krok 2. Skonfiguruj eksperyment
Po utworzeniu eksperymentu możesz wybrać, jakie informacje o aplikacji, warianty i atrybuty chcesz przetestować.
Aby skonfigurować eksperyment:
- Postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby wybrać informacje o aplikacji i dodać cele eksperymentu, takie jak wartość docelowa, odbiorcy eksperymentu, warianty i inne ustawienia.
- Więcej informacji i wskazówek znajdziesz w tabeli poniżej.
- Aby rozpocząć eksperyment, kliknij Przeprowadź eksperyment u góry strony.
- Aby dokończyć konfigurowanie eksperymentu później, kliknij Zapisz.
Podczas konfigurowania eksperymentu musisz podać poniższe informacje o aplikacji.
| Pole | Opis | Przykłady i wskazówki |
|---|---|---|
| Nazwa eksperymentu |
Umożliwia identyfikację eksperymentu i jest widoczna tylko w Konsoli Play. Użytkownicy jej nie widzą. |
|
| Informacje o aplikacji | Informacje o aplikacji (główne lub niestandardowe), które chcesz przetestować. |
Po rozpoczęciu eksperymentu niestandardowe informacje o aplikacji wyświetlą się pod nazwą nadaną im na początku eksperymentu. Jeśli zmienisz nazwę niestandardowych informacji o aplikacji w trakcie eksperymentu, nazwa w eksperymencie się nie zmieni. Aby uniknąć niejasności podczas przeprowadzania eksperymentów, warto usunąć nieużywane niestandardowe informacje o aplikacji, a potem w razie potrzeby utworzyć nowe. |
Podczas konfigurowania eksperymentu musisz podać poniższe informacje o celach eksperymentu. Te ustawienia będą miały wpływ na dokładność eksperymentu oraz liczbę użytkowników, którzy zainstalowali aplikację i którzy są potrzebni do uzyskania wyniku w eksperymencie.
| Pole | Opis | Przykłady i wskazówki |
|---|---|---|
| Wartość docelowa | Wartość, która będzie użyta przy określaniu wyniku eksperymentu. |
Dostępne są 2 opcje:
|
| Warianty | Liczba wariantów eksperymentalnych, które będą wykorzystane w testach w porównaniu z aktualnymi informacjami o aplikacji. Jeśli użyjesz 1 wariantu, eksperyment zakończy się szybciej. |
Aby dodać nową wersję eksperymentu, wybierz inną opcję z menu Warianty. Do każdego eksperymentu możesz dodać (oprócz bieżącej wersji) maksymalnie 3 warianty. |
| Odbiorcy eksperymentu |
Odsetek użytkowników odwiedzających stronę aplikacji w Sklepie, którzy zamiast aktualnie używanych informacji zobaczą wariant eksperymentalny. Użytkownicy ci zostaną podzieleni po równo między wszystkie warianty eksperymentalne. |
Jeśli podasz 30% odbiorców, pozostałe 70% odwiedzających stronę z informacjami o aplikacji zobaczy jej obecną wersję. Jeśli na przykład masz 30% odbiorców i dwa warianty eksperymentu, każdy z nich zobaczy po 15% użytkowników. Podczas eksperymentu każdy użytkownik zobaczy tylko 1 wariant lub aktualną wersję Twojej strony. |
| Minimalny wykrywalny efekt | Minimalna różnica między wariantami a wersją kontrolną wymagana do określenia, która wersja sprawdza się lepiej. Jeśli różnica będzie mniejsza od tej wartości, oznacza to, że eksperyment nie wpłynął na skuteczność. | |
| Poziom pewności | Jak często przedział ufności podany w eksperymencie będzie zawierał faktyczną skuteczność informacji o aplikacji. |
Zwiększenie poziomu pewności zmniejszy ryzyko występowania wyników fałszywie pozytywnych. Uwaga: wybranie poziomu ufności 90% oznacza, że 1 na 10 eksperymentów może zgłosić fałszywie pozytywny wynik. |
|
Atrybuty |
Wybierz typ elementu, który chcesz porównać z aktualną wersją strony z informacjami o aplikacji. |
Aby skuteczniej przeprowadzać eksperymenty, testuj atrybuty pojedynczo. Krótki i pełny opis możesz testować tylko w eksperymentach dotyczących tłumaczeń. Jeśli testujesz zasoby graficzne, pamiętaj o wymaganiach związanych z wymiarami i rodzajami plików. |
Jeśli podczas wpisywania informacji o celach eksperymentu klikniesz Edytowanie szacunkowych wartości, możesz edytować podane niżej szacowane wartości dzienne. Pomogą one obliczyć czas trwania eksperymentu. Mogą się różnić od faktycznych wyników.
| Pole | Opis | Przykłady i wskazówki |
|---|---|---|
| Liczba dziennych wizyt nowych użytkowników | Szacowana liczba użytkowników odwiedzających stronę aplikacji w Sklepie, którzy wcześniej nie zainstalowali aplikacji. | |
| Współczynnik konwersji | Szacunkowa wartość procentowa użytkowników, którzy dokonają konwersji do wartości docelowej. |
Jeśli np. Twoją wartością docelową są użytkownicy, którzy zainstalowali aplikację po raz pierwszy, współczynnik konwersji to szacowany odsetek użytkowników odwiedzających stronę, którzy zainstalowali aplikację po raz pierwszy. |
| Dzienna liczba utrzymanych użytkowników, którzy zainstalowali aplikację po raz pierwszy |
Szacunkowa liczba użytkowników, którzy po raz pierwszy zainstalują aplikację i nie odinstalują jej po 1 dniu. |
Więcej informacji znajdziesz w sekcji Opisy statystyk, dane i przykłady. |
| Dzienna liczba użytkowników, którzy zainstalowali aplikację po raz pierwszy |
Szacunkowa liczba użytkowników, którzy odwiedzą stronę aplikacji i zainstalują ją po raz pierwszy. |
Więcej informacji znajdziesz w sekcji Opisy statystyk, dane i przykłady. |
Krok 3. Sprawdź i zastosuj wyniki
Aby sprawdzić i zastosować wyniki:
- Otwórz Konsolę Play i wejdź na stronę Eksperymenty dotyczące strony aplikacji (Rozwój > Obecność w sklepie > Eksperymenty dotyczące strony aplikacji).
- Kliknij strzałkę w prawo w wierszu tabeli eksperymentu, który chcesz sprawdzić. Więcej informacji o sposobie wyświetlania szczegółów znajdziesz w tabelach z eksperymentami dotyczącymi strony aplikacji poniżej.
- W sekcji „Wyniki” wyświetl podsumowanie wyników eksperymentu. Wyniki zależą od określonych wartości docelowych.
Wyniki pokażą, która opcja jest najskuteczniejsza lub skuteczniejsza niż bieżące informacje o aplikacji. Zobaczysz też objaśnienie tego wyniku na podstawie jego przedziału ufności i minimalnego wykrywalnego efektu, a także zalecane działanie (w stosownych przypadkach). Jeśli zgromadzone dane nie wystarczają do wyświetlenia wyniku, możesz zobaczyć komunikat „Potrzeba więcej danych”.
- Następne działanie zależy od wyników eksperymentu:
- Jeśli wariant okazał się skuteczny, możesz zobaczyć rekomendację dotyczącą jego zastosowania.
- Jeśli uzyskasz wynik „Kontynuuj eksperyment, aby zebrać więcej danych”, sprawdź wyniki później.
- Jeśli kilka wariantów było skuteczniejszych niż obecne informacje o aplikacji lub osiągnięty wynik to „Remis”, przejrzyj wyniki i zdecyduj, który wariant chcesz zastosować.
- Jeśli bieżące informacje o aplikacji osiągnęły najlepszy wynik, kliknij Zachowaj bieżącą wersję strony z informacjami.
Po skonfigurowaniu eksperymentów na stronie Eksperymenty dotyczące strony aplikacji zobaczysz poniższe szczegóły. Szczegóły eksperymentu są podzielone na 4 tabele, jak opisano poniżej. Aby uzyskać więcej szczegółów, kliknij strzałkę w prawo w wierszu tabeli eksperymentu, który chcesz wyświetlić.
Wersje robocze
- Nazwa eksperymentu: nazwa Twojego eksperymentu.
- Informacje o aplikacji: informacje o aplikacji, których eksperyment dotyczy.
- Typ eksperymentu: grafika domyślna lub zlokalizowana.
- Szczegóły: liczba wariantów wyświetlanych określonemu odsetkowi odbiorców.
W toku
- Nazwa eksperymentu: nazwa Twojego eksperymentu.
- Informacje o aplikacji: informacje o aplikacji, których eksperyment dotyczy.
- Typ eksperymentu: grafika domyślna lub zlokalizowana.
- Data rozpoczęcia: termin rozpoczęcia eksperymentu.
- Szczegóły: liczba wariantów wyświetlanych określonemu odsetkowi użytkowników.
Ukończone
- Nazwa eksperymentu: nazwa Twojego eksperymentu.
- Informacje o aplikacji: informacje o aplikacji, których eksperyment dotyczy.
- Typ eksperymentu: grafika domyślna lub zlokalizowana.
- Data rozpoczęcia: termin rozpoczęcia eksperymentu.
- Szczegóły: liczba wariantów wyświetlanych określonemu odsetkowi użytkowników.
- Wynik: wynik eksperymentu.
Poprzednie eksperymenty
- Nazwa eksperymentu: nazwa Twojego eksperymentu.
- Informacje o aplikacji: informacje o aplikacji, których eksperyment dotyczy.
- Typ eksperymentu: grafika domyślna lub zlokalizowana.
- Data rozpoczęcia: termin rozpoczęcia eksperymentu.
- Data zakończenia: termin zakończenia eksperymentu.
- Stan: zastosowane lub niezastosowane.
Po wybraniu eksperymentu możesz zobaczyć dane o użytkownikach i instalacjach, które podsumowują skuteczność poszczególnych wariantów.
Dane o użytkownikach
| Dane | Definicja |
|---|---|
| Użytkownicy, którzy zainstalowali aplikację po raz pierwszy |
Unikalni użytkownicy, którzy zainstalowali aplikację po raz pierwszy w trakcie eksperymentu. Dane są przeskalowane, aby uwzględnić odsetek odbiorców. |
| Utrzymani użytkownicy, którzy zainstalowali aplikację (1 dzień) |
Unikalni użytkownicy, którzy zainstalowali aplikację po raz pierwszy i nadal mieli ją zainstalowaną przez co najmniej 1 dzień po instalacji w trakcie eksperymentu. Dane są przeskalowane, aby uwzględnić odsetek odbiorców. |
| Utrzymane wcześniejsze rejestracje – dostępne tylko dla wybranych partnerów Google Play. | Liczba użytkowników, którzy zdecydowali się na wcześniejszą rejestrację i zachowali ją przez co najmniej 1 dzień. |
Wyniki
Dane, które pokazują wyniki eksperymentu, możesz wyświetlić na dwa sposoby:
- Bieżące: liczba unikalnych użytkowników.
- Przeskalowane: liczba unikalnych użytkowników podzielona przez odsetek odbiorców.
Jeśli chcesz przejrzeć bezwzględne dane dotyczące użytkowników, którzy zainstalowali aplikację, użyj danych bieżących. Jeśli chcesz przejrzeć dane, które zostały przeskalowane tak, aby uwzględniać różne udziały odbiorców (np. jeśli 90% odbiorców obejrzało jedną wersję, a 10% inną), użyj danych przeskalowanych.
| Element | Definicja i przykłady |
|---|---|
| Skuteczność |
Szacowana zmiana w liczbie instalacji w porównaniu z bieżącą wersją. Skuteczność będzie wyświetlana, gdy eksperyment zbierze dość danych. Ogólnie im dłużej eksperyment trwa i zbiera dane, tym bardziej zawęża się zakres skuteczności wariantu i tym bardziej jest on dokładny. Przykład: jeśli 1 z wariantów miałby skuteczność od +5% do +15%, zmiana w liczbie instalacji mieściłaby się między tymi wartościami, przy czym najprawdopodobniej byłaby wartością pośrednią i wyniosłaby około +10%. |
| Instalacje (wartość skalowana) |
|
| Instalacje (obecnie) |
|
Dane o instalacjach (wycofane)
Poniższe dane były używane w eksperymentach rozpoczętych przed 24 stycznia 2019 r. Eksperymenty rozpoczęte przed tą datą nadal zawierają te statystyki, ale jedyne dane o użytkownikach wykorzystywane w nowszych eksperymentach to Użytkownicy, którzy zainstalowali aplikację po raz pierwszy i Utrzymani użytkownicy, którzy zainstalowali aplikację (1 dzień).
| Dane | Definicja i przykłady |
|---|---|
| Instalacje na aktywnych urządzeniach |
|
| Instalacje według użytkowników |
|
| Odinstalowania według użytkowników |
|
Eksperymenty korzystające z wycofanych danych
Od września 2019 r. eksperymenty, w których używasz wyżej wymienionych wycofywanych danych, zostaną automatycznie zakończone. Weź to pod uwagę podczas planowania i zamiast nich w eksperymentalnych informacjach o aplikacji użyj najnowszych danych.
Wyniki zakończonych eksperymentów znajdziesz w sekcji Zakończone eksperymenty na stronie Informacje o aplikacji.
Włączanie powiadomień o eksperymencie
Aby otrzymywać powiadomienia i e-maile po zakończeniu eksperymentów, skonfiguruj ustawienia na stronie Powiadomienia w Konsoli Play.
Więcej informacji o e-mailach z powiadomieniami znajdziesz w artykule na temat zarządzania informacjami o koncie dewelopera.