Przeprowadzanie testów A/B na stronie z informacjami o aplikacji

Aby zapewnić deweloperom większą kontrolę i niezawodność statystyczną, wprowadziliśmy ostatnio kilka zmian w sekcji Eksperymentalne informacje o aplikacji w Konsoli Play. Dodaliśmy 3 nowe funkcje:

  • konfiguracja parametrów eksperymentu;
  • kalkulator, który pomaga oszacować liczbę potrzebnych próbek i czas do zakończenia eksperymentu, oraz
  • przedziały ufności, które umożliwiają obecnie stałe monitorowanie eksperymentu.

Zaktualizowaliśmy tę stronę, aby uwzględnić te zmiany. 

Funkcje opisane na tej stronie nie są jeszcze dostępne dla wszystkich deweloperów.

Aby lepiej zoptymalizować stronę z informacjami o aplikacji w Google Play, możesz przeprowadzić eksperymenty, które pomogą znaleźć najskuteczniejszą grafikę i tłumaczenie tekstu. Eksperymenty mogą obejmować zarówno strony z głównymi, jak i niestandardowymi informacjami o aplikacji.

W przypadku opublikowanych aplikacji możesz przetestować różne warianty i porównać je z obecną wersją, aby na podstawie danych o liczbie instalacji sprawdzić, który z nich daje najlepsze wyniki. Zanim przygotujesz test, zapoznaj się ze sprawdzonymi metodami przeprowadzania skutecznych eksperymentów.

Uwaga: nazwa globalnych eksperymentów została zmieniona na domyślne eksperymenty graficzne. Funkcje są takie same jak przed zmianą nazwy.

Typy eksperymentów

W przypadku każdej aplikacji możesz przeprowadzić 1 eksperyment dotyczący domyślnej grafiki lub jednocześnie do 5 eksperymentów dotyczących tłumaczeń.

Domyślna grafika

Używając eksperymentów dotyczących domyślnej grafiki, możesz przetestować różne warianty graficzne na stronie aplikacji w języku domyślnym. Możesz zamieścić warianty ikony aplikacji, grafiki, zrzutów ekranu i filmu promocyjnego.

  • Jeśli informacje o aplikacji są dostępne tylko w jednym języku: domyślne eksperymenty graficzne będą widoczne dla wszystkich użytkowników.
  • Jeśli masz dodane zlokalizowane zasoby graficzne w określonym języku: użytkownicy wyświetlający Twoją aplikację w tym języku są wykluczani z domyślnych eksperymentów graficznych w Twojej aplikacji. Jeśli na przykład domyślnym językiem Twojej aplikacji jest angielski i ma ona zlokalizowaną grafikę w języku francuskim, to nawet gdy eksperyment będzie dotyczył ikony, użytkownicy przeglądający aplikację w języku francuskim zostaną z niego wykluczeni.
Eksperymenty dotyczące tłumaczeń (tekst i grafika)

Używając eksperymentów zlokalizowanych, możesz przetestować różne warianty ikony aplikacji, grafiki, zrzutów ekranu, filmów promocyjnych lub opisu aplikacji w maksymalnie pięciu językach. Warianty eksperymentu będą wyświetlane tylko użytkownikom przeglądającym informacje o aplikacji w wybranym języku.

Jeśli strona Twojej aplikacji jest dostępna tylko w jednym języku, eksperymenty zlokalizowane zobaczą wyłącznie użytkownicy wyświetlający stronę w tym języku.

Krok 1. Utwórz eksperyment

Aby utworzyć eksperyment w Konsoli Play:

  1. Otwórz Konsolę Play i wejdź na stronę Eksperymentalne informacje o aplikacji (Rozwój > Obecność w sklepie > Eksperymentalne informacje o aplikacji).
  2. Kliknij Utwórz eksperyment.
  3. Podaj szczegóły eksperymentu:
    • Nazwa eksperymentu: wpisz nazwę eksperymentu (maksymalnie 50 znaków).
    • Informacje o aplikacji: wybierz informacje o aplikacji, na których chcesz przeprowadzić ten eksperyment.
    • Typ eksperymentu: wybierz Domyślny eksperyment graficzny lub Eksperyment zlokalizowany.
  4. Kliknij Dalej.
  5. Przejdź do sekcji „Krok 2. Skonfiguruj eksperyment”.

Krok 2. Skonfiguruj eksperyment

Po utworzeniu eksperymentu możesz wybrać, jakie informacje o aplikacji, warianty i atrybuty chcesz przetestować.

Aby skonfigurować eksperyment:

  1. Postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby wybrać informacje o aplikacji i dodać cele eksperymentu, takie jak wartość docelowa, odbiorcy eksperymentu, warianty i inne ustawienia.
  2. Aby rozpocząć eksperyment, kliknij Przeprowadź eksperyment u góry strony.
  3. Aby dokończyć konfigurowanie eksperymentu później, kliknij Zapisz.
Opisy pól, przykłady i wskazówki

Podczas konfigurowania eksperymentu musisz podać poniższe informacje o aplikacji.

Pole Opis Przykłady i wskazówki
Nazwa eksperymentu

Umożliwia identyfikację eksperymentu i jest widoczna tylko w Konsoli Play. Użytkownicy jej nie widzą.

  • „Eksperyment z jasną ikoną”
  • „Grafika z logo”
  • „Krótki opis z nowym hasłem”
Informacje o aplikacji Informacje o aplikacji (główne lub niestandardowe), które chcesz przetestować.

Po rozpoczęciu eksperymentu niestandardowe informacje o aplikacji wyświetlą się pod nazwą nadaną im na początku eksperymentu. Jeśli zmienisz nazwę niestandardowych informacji o aplikacji w trakcie eksperymentu, nazwa w eksperymencie się nie zmieni.

Aby uniknąć niejasności podczas przeprowadzania eksperymentów, warto usunąć nieużywane niestandardowe informacje o aplikacji, a potem w razie potrzeby utworzyć nowe.


Podczas konfigurowania eksperymentu musisz podać poniższe informacje o celach eksperymentu. Te ustawienia będą miały wpływ na dokładność eksperymentu oraz liczbę użytkowników, którzy zainstalowali aplikację i którzy są potrzebni do uzyskania wyniku w eksperymencie.

Pole Opis Przykłady i wskazówki
Wartość docelowa Wartość, która będzie użyta przy określaniu wyniku eksperymentu.

Dostępne są 2 opcje:

  • Utrzymani użytkownicy, którzy zainstalowali aplikację po raz pierwszy (zalecane): liczba użytkowników, którzy zainstalowali aplikację po raz pierwszy i zachowali ją przez co najmniej 1 dzień.
  • Użytkownicy, którzy zainstalowali aplikację po raz pierwszy: liczba użytkowników, którzy zainstalowali aplikację po raz pierwszy, bez względu na to, czy ją zachowali, czy nie.
Warianty Liczba wariantów eksperymentalnych, które będą wykorzystane w testach w porównaniu z aktualnymi informacjami o aplikacji. Jeśli użyjesz 1 wariantu, eksperyment zakończy się szybciej.

Aby dodać nową wersję eksperymentu, wybierz inną opcję z menu Warianty.

Do każdego eksperymentu możesz dodać (oprócz bieżącej wersji) maksymalnie 3 warianty.

Odbiorcy eksperymentu

Odsetek użytkowników odwiedzających stronę aplikacji w Sklepie, którzy zamiast aktualnie używanych informacji zobaczą wariant eksperymentalny.

Użytkownicy ci zostaną podzieleni po równo między wszystkie warianty eksperymentalne.

Jeśli podasz 30% odbiorców, pozostałe 70% odwiedzających stronę z informacjami o aplikacji zobaczy jej obecną wersję.

Jeśli na przykład masz 30% odbiorców i dwa warianty eksperymentu, każdy z nich zobaczy po 15% użytkowników.

Podczas eksperymentu każdy użytkownik zobaczy tylko 1 wariant lub aktualną wersję Twojej strony.

Minimalny wykrywalny efekt Minimalna różnica między wariantami a wersją kontrolną wymagana do określenia, która wersja sprawdza się lepiej. Jeśli różnica będzie mniejsza od tej wartości, oznacza to, że eksperyment nie wpłynął na skuteczność.  
Poziom pewności Jak często przedział ufności podany w eksperymencie będzie zawierał faktyczną skuteczność informacji o aplikacji.

Zwiększenie poziomu pewności zmniejszy ryzyko występowania wyników fałszywie pozytywnych.

Uwaga: wybranie poziomu ufności 90% oznacza, że 1 na 10 eksperymentów może zgłosić fałszywie pozytywny wynik.

Atrybuty

Wybierz typ elementu, który chcesz porównać z aktualną wersją strony z informacjami o aplikacji.

Aby skuteczniej przeprowadzać eksperymenty, testuj atrybuty pojedynczo.

Krótki i pełny opis możesz testować tylko w eksperymentach dotyczących tłumaczeń.

Jeśli testujesz zasoby graficzne, pamiętaj o wymaganiach związanych z wymiarami i rodzajami plików.


Jeśli podczas wpisywania informacji o celach eksperymentu klikniesz Edytowanie szacunkowych wartości, możesz edytować podane niżej szacowane wartości dzienne. Pomogą one obliczyć czas trwania eksperymentu. Mogą się różnić od faktycznych wyników.

Pole Opis Przykłady i wskazówki
Liczba dziennych wizyt nowych użytkowników Szacowana liczba użytkowników odwiedzających stronę aplikacji w Sklepie, którzy wcześniej nie zainstalowali aplikacji.  
Współczynnik konwersji Szacunkowa wartość procentowa użytkowników, którzy dokonają konwersji do wartości docelowej.

Jeśli np. Twoją wartością docelową są użytkownicy, którzy zainstalowali aplikację po raz pierwszy, współczynnik konwersji to szacowany odsetek użytkowników odwiedzających stronę, którzy zainstalowali aplikację po raz pierwszy.

Dzienna liczba utrzymanych użytkowników, którzy zainstalowali aplikację po raz pierwszy

Szacunkowa liczba użytkowników, którzy po raz pierwszy zainstalują aplikację i nie odinstalują jej po 1 dniu.

Więcej informacji znajdziesz w sekcji Opisy statystyk, dane i przykłady.
Dzienna liczba użytkowników, którzy zainstalowali aplikację po raz pierwszy

Szacunkowa liczba użytkowników, którzy odwiedzą stronę aplikacji i zainstalują ją po raz pierwszy.

Więcej informacji znajdziesz w sekcji Opisy statystyk, dane i przykłady.

Krok 3. Sprawdź i zastosuj wyniki

Aby sprawdzić i zastosować wyniki:

  1. Otwórz Konsolę Play i wejdź na stronę Eksperymentalne informacje o aplikacji (Rozwój > Obecność w sklepie > Eksperymentalne informacje o aplikacji).
  2. Kliknij strzałkę w prawo w wierszu tabeli eksperymentu, który chcesz sprawdzić. Więcej informacji o sposobie wyświetlania szczegółów znajdziesz w tabelach z eksperymentalnymi informacjami o aplikacji poniżej.
  3. W sekcji „Wyniki” wyświetl podsumowanie wyników eksperymentu. Wyniki zależą od określonych wartości docelowych.

    Wyniki pokażą, która opcja jest najskuteczniejsza lub skuteczniejsza niż bieżące informacje o aplikacji. Zobaczysz też objaśnienie tego wyniku na podstawie jego przedziału ufności i minimalnego wykrywalnego efektu, a także zalecane działanie (w stosownych przypadkach). Jeśli zgromadzone dane nie wystarczają do wyświetlenia wyniku, możesz zobaczyć komunikat „Potrzeba więcej danych”.
     
  4. Następne działanie zależy od wyników eksperymentu:
    • Jeśli wariant okazał się skuteczny, możesz zobaczyć rekomendację dotyczącą jego zastosowania.
    • Jeśli uzyskasz wynik „Kontynuuj eksperyment, aby zebrać więcej danych”, sprawdź wyniki później.
    • Jeśli kilka wariantów było skuteczniejszych niż obecne informacje o aplikacji lub osiągnięty wynik to „Remis”, przejrzyj wyniki i zdecyduj, który wariant chcesz zastosować.
    • Jeśli bieżące informacje o aplikacji osiągnęły najlepszy wynik, kliknij Zachowaj bieżącą wersję strony z informacjami.
Tabele z eksperymentalnymi informacjami o aplikacji

Po skonfigurowaniu eksperymentów na stronie Eksperymentalne informacje o aplikacji zobaczysz poniższe szczegóły. Szczegóły eksperymentu są podzielone na 4 tabele, jak opisano poniżej. Aby uzyskać więcej szczegółów, kliknij strzałkę w prawo w wierszu tabeli eksperymentu, który chcesz wyświetlić.

Wersje robocze

  • Nazwa eksperymentu: nazwa Twojego eksperymentu.
  • Informacje o aplikacji: informacje o aplikacji, których eksperyment dotyczy.
  • Typ eksperymentu: grafika domyślna lub zlokalizowana.
  • Szczegóły: liczba wariantów wyświetlanych określonemu odsetkowi odbiorców.

W toku

  • Nazwa eksperymentu: nazwa Twojego eksperymentu.
  • Informacje o aplikacji: informacje o aplikacji, których eksperyment dotyczy.
  • Typ eksperymentu: grafika domyślna lub zlokalizowana.
  • Data rozpoczęcia: termin rozpoczęcia eksperymentu.
  • Szczegóły: liczba wariantów wyświetlanych określonemu odsetkowi użytkowników.

Ukończone

  • Nazwa eksperymentu: nazwa Twojego eksperymentu.
  • Informacje o aplikacji: informacje o aplikacji, których eksperyment dotyczy.
  • Typ eksperymentu: grafika domyślna lub zlokalizowana.
  • Data rozpoczęcia: termin rozpoczęcia eksperymentu.
  • Szczegóły: liczba wariantów wyświetlanych określonemu odsetkowi użytkowników.
  • Wynik: wynik eksperymentu.

Poprzednie eksperymenty

  • Nazwa eksperymentu: nazwa Twojego eksperymentu.
  • Informacje o aplikacji: informacje o aplikacji, których eksperyment dotyczy.
  • Typ eksperymentu: grafika domyślna lub zlokalizowana.
  • Data rozpoczęcia: termin rozpoczęcia eksperymentu.
  • Data zakończenia: termin zakończenia eksperymentu.
  • Stan: zastosowane lub niezastosowane.
Opisy statystyk, dane i przykłady

Po wybraniu eksperymentu możesz zobaczyć dane o użytkownikach i instalacjach, które podsumowują skuteczność poszczególnych wariantów.

Dane o użytkownikach

Dane Definicja
Użytkownicy, którzy zainstalowali aplikację po raz pierwszy

Unikalni użytkownicy, którzy zainstalowali aplikację po raz pierwszy w trakcie eksperymentu. Dane są przeskalowane, aby uwzględnić odsetek odbiorców.

Utrzymani użytkownicy, którzy zainstalowali aplikację (1 dzień)

Unikalni użytkownicy, którzy zainstalowali aplikację po raz pierwszy i nadal mieli ją zainstalowaną przez co najmniej 1 dzień po instalacji w trakcie eksperymentu. Dane są przeskalowane, aby uwzględnić odsetek odbiorców.

Utrzymane wcześniejsze rejestracje – dostępne tylko dla wybranych partnerów Google Play. Liczba użytkowników, którzy zdecydowali się na wcześniejszą rejestrację i zachowali ją przez co najmniej 1 dzień.

Wyniki

Dane, które pokazują wyniki eksperymentu, możesz wyświetlić na dwa sposoby:

  • Bieżące: liczba unikalnych użytkowników.
  • Przeskalowane: liczba unikalnych użytkowników podzielona przez odsetek odbiorców.

Jeśli chcesz przejrzeć bezwzględne dane dotyczące użytkowników, którzy zainstalowali aplikację, użyj danych bieżących. Jeśli chcesz przejrzeć dane, które zostały przeskalowane tak, aby uwzględniać różne udziały odbiorców (np. jeśli 90% odbiorców obejrzało jedną wersję, a 10% inną), użyj danych przeskalowanych.

Element Definicja i przykłady
Skuteczność

Szacowana zmiana w liczbie instalacji w porównaniu z bieżącą wersją. Skuteczność będzie wyświetlana, gdy eksperyment zbierze dość danych. Ogólnie im dłużej eksperyment trwa i zbiera dane, tym bardziej zawęża się zakres skuteczności wariantu i tym bardziej jest on dokładny.

Przykład: jeśli 1 z wariantów miałby skuteczność od +5% do +15%, zmiana w liczbie instalacji mieściłaby się między tymi wartościami, przy czym najprawdopodobniej byłaby wartością pośrednią i wyniosłaby około +10%.

Instalacje (wartość skalowana)
  • Liczba instalacji w trakcie eksperymentu podzielona przez odsetek odbiorców.
  • Wartość uwzględniana w przypadku eksperymentów rozpoczętych przed 24 stycznia 2019 r.
  • Jeśli na przykład przeprowadzasz eksperyment z 2 wariantami i podziałem odbiorców 90% / 10%, a liczba instalacji dla każdego z wariantów wyniosła A = 900 i B = 200, liczba instalacji po przeskalowaniu to A = 1000 (900/0,9) i B = 2000 (200/0,1).
Instalacje (obecnie)
  • Liczba aplikacji, które nadal są zainstalowane.
  • Wartość uwzględniana w przypadku eksperymentów rozpoczętych przed 24 stycznia 2019 r.

Dane o instalacjach (wycofane)

Poniższe dane były używane w eksperymentach rozpoczętych przed 24 stycznia 2019 r. Eksperymenty rozpoczęte przed tą datą nadal zawierają te statystyki, ale jedyne dane o użytkownikach wykorzystywane w nowszych eksperymentach to Użytkownicy, którzy zainstalowali aplikację po raz pierwszy i Utrzymani użytkownicy, którzy zainstalowali aplikację (1 dzień).

Dane Definicja i przykłady
Instalacje na aktywnych urządzeniach
  • Liczba aktywnych urządzeń, na których jest obecnie zainstalowany każdy z wariantów aplikacji, przeskalowana w górę w celu skompensowania różnic w liczbie odbiorców.
Instalacje według użytkowników
  • Liczba unikalnych użytkowników, którzy zainstalowali każdy z wariantów aplikacji danego dnia, przeskalowana w górę w celu skompensowania różnic w liczbie odbiorców.
Odinstalowania według użytkowników
  • Liczba odinstalowań każdego z wariantów aplikacji danego dnia, przeskalowana w górę w celu skompensowania różnic w liczbie odbiorców.

Eksperymenty korzystające z wycofanych danych

Od września 2019 r. eksperymenty, w których używasz wyżej wymienionych wycofywanych danych, zostaną automatycznie zakończone. Weź to pod uwagę podczas planowania i zamiast nich w eksperymentalnych informacjach o aplikacji użyj najnowszych danych.

Wyniki zakończonych eksperymentów znajdziesz w sekcji Zakończone eksperymenty na stronie Informacje o aplikacji.

Włączanie powiadomień o eksperymencie

Aby otrzymywać powiadomienia i e-maile po zakończeniu eksperymentów, skonfiguruj ustawienia na stronie Powiadomienia w Konsoli Play. 

Więcej informacji o e-mailach z powiadomieniami znajdziesz w artykule na temat zarządzania informacjami o koncie dewelopera.

Czy to było pomocne?
Jak możemy ją poprawić?

Potrzebujesz dodatkowej pomocy?

Zaloguj się i uzyskaj dodatkowe informacje, by szybko rozwiązać problem

false
Szukaj
Wyczyść wyszukiwanie
Zamknij wyszukiwanie
Aplikacje Google
Menu główne
Wyszukaj w Centrum pomocy
true
92637
false