W tym artykule omówiono sprawdzone metody prowadzenia eksperymentów dotyczących wzrostu skuteczności aplikacji.
Na tej stronie
- Przed utworzeniem nowego eksperymentu
- Konfiguracja eksperymentu
- Podczas trwania eksperymentu
- Po zakończeniu eksperymentu
Przed utworzeniem nowego eksperymentu
Dowiedz się, jak eksperyment dotyczący wzrostu skuteczności aplikacji sprawdza się w Twoich przypadkach użycia
Czym jest eksperyment dotyczący wzrostu skuteczności aplikacji? Dzięki takiemu eksperymentowi możesz badać i poznawać wzrost skuteczności wynikający z dodania do dotychczasowej kampanii komponentów wideo.
-
Przy prowadzeniu eksperymentu dotyczącego wzrostu skuteczności aplikacji zalecamy stosowanie tych metod w zależności od Twoich przypadków użycia:
- Wypróbuj po raz pierwszy reklamy wideo: jeśli nie masz obecnie w kampanii żadnego filmu, możesz skorzystać z eksperymentu dotyczącego wzrostu skuteczności aplikacji. Pomoże Ci on poznać wzrost skuteczności wynikający z dodania komponentu wideo.
- Na podstawie wyników kierunkowych wybierz najlepszy z zastosowanych komponentów wideo: jeśli masz kilka komponentów wideo, eksperyment dotyczący wzrostu skuteczności aplikacji pomoże Ci się dowiedzieć:
- czy wszystkie komponenty wideo pomagają wspólnie zwiększać skuteczność,
- jaki jest wpływ (pozytywny lub negatywny) poszczególnych komponentów wideo na ogólny wzrost skuteczności.
Minimalny poziom budżetu i stawki
Zalecamy ustawienie budżetu i stawki, które umożliwią kampanii uzyskiwanie co najmniej 100 (a najlepiej ponad 150) konwersji dziennie. Dzięki temu nasze modele będą mogły optymalizować kampanie. Symulatory inteligentnego określania stawek pomagają lepiej oszacować, ile konwersji możesz uzyskać po zmianie budżetu kampanii i celu strategii ustalania stawek.
- Im większa dzienna liczba konwersji w ramach eksperymentu, tym szybciej uzyskane wyniki będą istotne statystycznie.
- Jeśli kampania podstawowa zawiera dużą liczbę komponentów wideo (ponad 50), budżet wymagany do dziennej oceny poszczególnych komponentów będzie prawdopodobnie znacznie większy.
Wartość docelowa strategii ustalania stawek w kampanii (docelowy CPI, docelowy CPE lub docelowy ROAS)
Jeśli Twoja kampania ma ograniczony budżet, upewnij się, że rzeczywisty CPI lub CPE jest co najwyżej 2 razy mniejszy od docelowego CPI lub CPE (i podobnie w przypadku docelowego ROAS). Zapobiegnie to nieoczekiwanym problemom związanym z uruchomieniem „na zimno” lub obniżaniem stawki.
Ogólnie kampanie bez ograniczeń budżetu i stawek osiągają szybsze i dokładniejsze wyniki.
Sprawdź dotychczasowe komponenty wideo
Jeśli kampania ma ograniczony budżet
- Jeśli Twoja obecna kampania nie zawiera żadnych filmów lub zawiera filmy, ale obecnie nie generuje wydatków, przetestowanie nowych filmów raczej nie przyniesie wzrostu skuteczności.
- Rozważ zwiększenie budżetu kampanii do poziomu, który nie będzie ograniczał jej działania, a potem oceń potrzebę przeprowadzenia eksperymentu dotyczącego wzrostu skuteczności.
Jeśli kampania nie ma ograniczonego budżetu
- Jeśli Twoja obecna kampania zawiera komponenty wideo, ale mają one niewielki udział w jej łącznych wydatkach, przetestowanie nowych komponentów wideo prawdopodobnie nie przyniesie wzrostu skuteczności.
- Rozważ podnoszenie docelowego kosztu konwersji (lub zmniejszanie docelowego ROAS), aż Twoje dotychczasowe komponenty wideo uzyskają znaczny udział w wydatkach, a potem oceń, czy jest konieczne przeprowadzenie eksperymentu dotyczącego wzrostu skuteczności.
Konfiguracja eksperymentu
Cele eksperymentu
- Lepiej wybieraj do eksperymentu dane powiązane z celami optymalizacji kampanii.
- Jeśli np. Twoja kampania jest optymalizowana pod kątem instalacji, wybierz liczbę instalacji lub CPI.
- Przedkładaj koszt działania (instalacji lub działania w aplikacji) nad dane o liczbie konwersji, chyba że kampania nie ma ograniczonego budżetu.
Część eksperymentalna
- Zalecamy, aby w większości przypadków używać podziału ruchu i budżetu na poziomie 50/50, aby jak najszybciej uzyskać wyniki eksperymentu przy najniższym koszcie.
- W niektórych sytuacjach, np. gdy uważasz, że testowane komponenty wywrą duży negatywny wpływ, warto zastosować inny podział ruchu (np. 40% na kampanię próbną, a 60% na kampanię podstawową).
Poziom ufności
- Zalecamy stosowanie poziomu ufności 80%, który zwykle zapewnia wysoką dokładność wyników eksperymentu przy krótszym czasie trwania i niższym koszcie w porównaniu z poziomem ufności 85% lub 95%.
- Jeśli nie wiesz, jaki poziom ufności wybrać dla eksperymentu, w tabeli w dodatku znajdziesz informacje o liczbie konwersji niezbędnej do osiągnięcia danego poziomu ufności.
Daty eksperymentu
- Aby zmaksymalizować prawdopodobieństwo uzyskania jednoznacznych wyników eksperymentu, zalecamy jego prowadzenie w miarę możliwości przez 30 dni.
Eksperyment typu kontrola stanu
- Kontrola stanu udostępnia serię testów diagnostycznych i mechanizmów kontroli, które zwiększają prawdopodobieństwo uzyskania jednoznacznych wyników nowo tworzonych eksperymentów dotyczących wzrostu skuteczności aplikacji. Zalecamy rozwiązanie poważnych problemów (zaznaczonych na czerwono), jak np. użycie aplikacji na iOS (obecnie brak obsługi), oraz przynajmniej podjęcie próby wyeliminowania umiarkowanych problemów (zaznaczonych kolorem żółtym), takich jak ograniczenia budżetu. Dowiedz się więcej o tworzeniu eksperymentu typu kontrola stanu dotyczącego wzrostu skuteczności aplikacji.
Zalecenia ogólne
Interakcje z innymi kampaniami promującymi tę samą aplikację
- Aby uniknąć nakładania się kampanii, upewnij się, że na koncie nie ma innej kampanii promującej tę samą aplikację w tych samych lokalizacjach geograficznych co testowana kampania.
Naruszenia zasad
- W miarę możliwości wyeliminuj przypadki naruszenia zasad przez kampanię, ponieważ mogą one uniemożliwić działanie jednej z kampanii objętych eksperymentem lub opóźnić uzyskanie wyników.
Podczas trwania eksperymentu
Zmiany budżetu i wartości docelowej skuteczności
- Nie zalecamy zmiany tych ustawień przez pierwsze 7 dni eksperymentu.
- Jeśli po tym okresie konieczne są jakieś modyfikacje, lepiej wprowadzaj codziennie niewielkie stopniowe zmiany, niż duże zmiany naraz.
Zmiany komponentu
- Jeśli chcesz wprowadzić zmiany w komponencie w kampanii podstawowej, pamiętaj, aby zarazem powielić je też w odpowiedniej kampanii eksperymentalnej.
Śledzenie eksperymentów
- Aby uniknąć wpływu okresu nauki kampanii na dane, zalecamy wykluczenie z wyników pierwszych 5–10 dni eksperymentu (za pomocą selektora dat).
- Wyniki eksperymentu możesz śledzić za pomocą 3 poziomów ufności (80%, 85% i 95%).
- Jeśli w kampanii próbnej dodasz kilka komponentów wideo, w raportach Google Ads możesz sprawdzać skuteczność każdego z nich.
Po zakończeniu eksperymentu
Interpretowanie wyników eksperymentu
- Wyniki istotne statystycznie
- Pozytywne wyniki w przypadku obu celów eksperymentu: zalecamy przeniesienie komponentu do kampanii podstawowej oraz ewentualnie do innych kampanii na koncie (np. do kampanii o podobnych celach, ale w innych lokalizacjach geograficznych), aby zwiększyć ogólną skuteczność.
- Negatywne wyniki w przypadku obu celów eksperymentu: zalecamy, aby nie przenosić komponentu do kampanii ani na konto.
- Częściowo pozytywne, a częściowo negatywne wyniki w przypadku celów eksperymentu: zalecamy podejmowanie decyzji na podstawie potrzeb biznesowych i ograniczeń zwrotu z inwestycji. Jeśli np. CPI zwiększy się o 5%, a liczba instalacji wzrośnie o 10%, reklamodawcy powinni przenieść te komponenty, o ile mogą zaakceptować zwiększenie liczby instalacji kosztem niewielkiego wzrostu średniego CPI.
- Wyniki nieistotne statystycznie
- Zalecamy podejmowanie decyzji na podstawie potrzeb biznesowych i tolerancji ryzyka. Na przykład w przypadku reklamodawców zadowolonych z wyników kierunkowych rozsądne jest przeniesienie komponentów, których wyniki są pozytywne, ale nieistotne statystycznie. Mogą oni też wprowadzić zmiany w komponencie i przeprowadzić kolejny eksperyment.
