U ovom se članku opisuju najbolji primjeri iz prakse u vezi s eksperimentima za poboljšanje aplikacije.
Na ovoj stranici
- Prije izrade novog eksperimenta
- Postavke eksperimenta
- Dok se eksperiment provodi
- Kada eksperiment završi
Prije izrade novog eksperimenta
Saznajte kako eksperiment za poboljšanje aplikacije rješava vaše scenarije upotrebe
Što je eksperiment za poboljšanje aplikacije? Eksperimenti za poboljšanje aplikacije omogućuju vam da eksperimentirate s poboljšanjem izvedbe na temelju dodavanja videoelemenata u postojeću kampanju i steknete bolji uvid u njega.
-
Na temelju scenarija upotrebe preporučujemo sljedeće pristupe prilikom upotrebe eksperimenta za poboljšanje aplikacije:
- Prvi put isprobajte videozapis: ako u kampanji trenutačno nemate videozapis, eksperiment za poboljšanje aplikacije može vam pomoći da steknete uvid u poboljšanje izvedbe na temelju dodavanja videoelemenata.
- Odaberite pobjednika među većim brojem videoelemenata s usmjeravajućim rezultatima: ako imate više videoelemenata, eksperiment za poboljšanje aplikacije može vam pomoći da saznate sljedeće:
- pomažu li vam svi videoelementi zajednički da poboljšate izvedbu
- kako svaki videoelement usmjeravajući doprinosi ukupnom poboljšanju izvedbe.
Minimalni proračun i licitacija
Preporučujemo proračun i licitaciju koji omogućuju da kampanja ostvari najmanje 100 (idealno više od 150) konverzija dnevno kako bismo osigurali da naši modeli mogu optimizirati vaše kampanje. Simulatori pametnog licitiranja pomažu vam da bolje razumijete koliko ćete konverzija vjerojatno ostvariti kada izmijenite proračun i cilj strategije licitiranja.
- Što je veći dnevni broj konverzija u eksperimentu, to će brže eksperiment dosegnuti statistički značajne rezultate.
- Ako vaša osnovna kampanja sadrži velik broj postojećih videoelemenata (> ~50), proračun potreban za dnevnu procjenu svakog elementa vjerojatno će biti mnogo viši.
Cilj strategije licitiranja kampanje (tCPI/tCPE/tROAS)
Ako je vaša kampanja ograničena proračunom, osigurajte da stvarni CPI ili CPE nije više od dva puta niži od ciljanog CPI-ja ili CPE-ja (i slično za tROAS). Na taj će se način osigurati da ne doživimo neočekivano ponašanje u vezi s hladnim pokretanjem/snižavanjem licitacije.
Općenito govoreći, kampanje koje nisu ograničene proračunom ili licitacijama postići će brže i točnije rezultate.
Provjera postojećih videoelemenata
Ako je kampanja ograničena proračunom
- Ako vaša trenutačna kampanja nema videozapise ili sadrži videozapise, ali ne troši, testiranje dodavanja novih videozapisa vjerojatno neće dovesti do poboljšanja izvedbe.
- Razmislite o povećanju proračuna kampanje tako da više ne bude ograničena, a zatim procijenite potrebu za eksperimentom za poboljšanje.
Ako kampanja nije ograničena proračunom
- Ako vaša trenutačna kampanja sadrži videoelemente, ali oni čine mali postotak ukupne potrošnje kampanje, testiranje dodavanja novih videoelemenata vjerojatno neće dovesti do poboljšanja izvedbe.
- Razmislite o povećanju ciljane cijene po konverziji (ili smanjivanju tROAS-a) dok postojeći videoelementi ne dosegnu značajnu količinu potrošnje, a zatim procijenite potrebu za eksperimentom za poboljšanje.
Postavke eksperimenta
Ciljevi eksperimenta
- Pri odabiru mjernih podataka o eksperimentu prednost dajte njihovom odabiru u skladu s ciljevima optimizacije kampanje.
- Na primjer, odaberite broj instalacija ili CPI ako vaša kampanja izvršava optimizaciju za instalacije.
- Dajte prednost cijeni po radnji (instalaciji/radnji u aplikaciji) u odnosu na mjerne podatke o broju konverzija, osim ako kampanja nije ograničena proračunom.
Udio eksperimenta
- Preporučujemo da u većini slučajeva upotrebljavate podjelu prometa i proračuna u omjeru 50:50 da biste ostvarili što brže rezultate eksperimenta uz najnižu cijenu.
- U određenim situacijama, na primjer, kada smatrate da će elementi koje testirate generirati velik negativan utjecaj, bilo bi dobro upotrijebiti neku drugu podjelu prometa (npr. 40% u probnoj kampanji, a 60% u osnovnoj kampanji).
Razina pouzdanosti
- Preporučujemo da upotrebljavate razinu pouzdanosti od 80% koja obično pruža dobru točnost rezultata eksperimenta s kraćim trajanjem i nižom cijenom u usporedbi s razinom pouzdanosti od 85% ili 95%.
- Ako niste sigurni koju razinu pouzdanosti odabrati za eksperiment, pomoću tablice u dodatku možete pronaći broj konverzija koji vam je potreban da biste dosegnuli određenu razinu pouzdanosti.
Datumi eksperimenta
- Ako je moguće, preporučujemo da se eksperimenti izvode 30 dana kako biste maksimalno povećali mogućnost dobivanja konačnih rezultata eksperimenta.
Provjera stanja eksperimenta
- Provjera stanja pruža niz dijagnostičkih postupaka i provjera kako bi se povećala vjerojatnost dobivanja konačnih rezultata eksperimenta. Preporučujemo da riješite ozbiljne probleme (označeni crvenom bojom) kao što je upotreba iOS aplikacije (trenutačno nije podržano) i pokušate riješiti umjerene probleme (označeni žutom bojom), kao što su ograničenja proračuna, na najbolji mogući način. Saznajte više o provjeri stanja izrade eksperimenta za poboljšanje aplikacije.
Opće preporuke
Interakcije s drugim kampanjama koje promoviraju istu aplikaciju
- Provjerite da račun nema drugu kampanju koja promovira istu aplikaciju na istim geolokacijama kao kampanja koja se testira da biste izbjegli kanibalizaciju kampanje.
Kršenje pravila
- Ispravite potencijalna kršenja pravila koja biste mogli imati u kampanji (kad je to moguće) jer ona mogu spriječiti pokretanje jedne od kampanja u eksperimentu ili odgoditi rezultate.
Dok se eksperiment provodi
Promjene cilja proračuna i izvedbe
- Preporučujemo da ne ažurirate te postavke tijekom prvih sedam dana eksperimenta.
- Ako su nakon tog razdoblja potrebne izmjene, radije odaberite male dnevne inkrementalne izmjene u odnosu na velike odjednom.
Promjene elemenata
- Ako trebate unijeti izmjenu u element u osnovnoj kampanji, pobrinite se da istovremeno unesete istu izmjenu u odgovarajuću kampanji za obradu.
Nadzor eksperimenata
- Preporučujemo da iz rezultata izuzmete prvih pet do deset dana eksperimenta (pomoću alata za odabir datuma) kako biste izbjegli utjecaj razdoblja učenja kampanje na mjerne podatke.
- Rezultate eksperimenta možete pratiti pomoću tri razine pouzdanosti (80%, 85%, 95%).
- Ako ste u probnu kampanju dodali više videoelemenata, izvedbu pojedinačnog videoelementa možete pregledati u Google Ads izvješćima.
Kada eksperiment završi
Tumačenje rezultata eksperimenta
- Statistički značajni rezultati
- Pozitivni rezultati za oba cilja eksperimenta: preporučujemo da promovirate element u osnovnu kampanju i potencijalno u druge kampanje na svojem računu, ako je to primjenjivo (na primjer, kampanje sa sličnim ciljevima, ali u različitim geografskim područjima) kako biste poboljšali ukupnu izvedbu.
- Negativni rezultati za oba cilja eksperimenta: preporučujemo da element ne promovirate u kampanju ili na račun.
- Kombinacija pozitivnih i negativnih rezultata na ciljevima eksperimenta: preporučujemo da odluke donesete na temelju poslovnih potreba i ograničenja ROI-ja. Na primjer, ako se CPI poveća za 5%, a broj instalacija poraste za 10%, oglašivači bi trebali promovirati elemente ako im odgovara više instalacija uz neki porast prosječnog CPI-ja.
- Rezultati koji nisu statistički značajni
- Preporučujemo da odluke donesete na temelju svojih poslovnih potreba i tolerancije rizika. Na primjer, za oglašivače koji su upoznati s usmjeravajućim rezultatima razumno je promoviranje elemenata s pozitivnim, ali ne statistički značajnim rezultatima. U suprotnom preporučujemo da unesete izmjene u element i provedete drugi eksperiment.
