A / B versijų testavimo analizavimas ir veiksmai 

Duomenys tarpininkavimo grupės puslapyje reguliariai atnaujinami. Bet kuriuo 90 dienų laikotarpiu, atsižvelgdami į duomenis, galite priimti sprendimą užbaigti testavimą ir pasirinkti variantą. Varianto pasirinkimas reiškia, kad pasirenkate naudoti vieną iš tarpininkavimo grupės konfigūracijos variantų visiems (100 proc.) naudotojams. 

Jei norite pasiekti ir stebėti A / B versijų testavimą, atlikite nurodytus veiksmus. 

1. Prisijunkite prie „AdMob“ paskyros adresu https://apps.admob.com.
2. Šoninėje juostoje spustelėkite Tarpininkavimas.
3. Pasirinkite tarpininkavimo grupę su A / B versijų testavimu, kurį norite peržiūrėti.

Kad būtų lengviau analizuoti A / B versijų testavimo rezultatus, „AdMob“ teikia A ir B variantų santykinių mėnesio pajamų ataskaitas. Santykinės mėnesio pajamos yra įvertinimas, kiek pajamų gautumėte per 28 dienas, jei pritaikytumėte šį variantą 100 proc. naudotojų. Taip pateikiamas teisingas palyginimas ir galite tiksliau suprasti kiekvieno varianto našumą.

Pastaba: „AdMob“ pradeda skaičiuoti santykines mėnesio pajamas praėjus 4 dienoms nuo A / B versijų testavimo pradžios ir pasiekus 10 000 parodymų.

Norėdami sužinoti, ar skirtumas tarp variantų didelis, peržiūrėkite santykinių mėnesio pajamų skirtumą A / B versijų testavimo puslapio viršuje.

Taip pat galėsite matyti A ir B varianto apskaičiuotas pajamas, eMUT ir atitikties rodiklį, kurie bus atnaujinti atliekant testavimą. Šie duomenys taip pat parodo, koks yra kiekvieno skelbimų šaltinio abiejuose variantuose našumas, kad galėtumėte lengvai jį palyginti.

Rezultatų paaiškinimas

Kai pradedama testuoti, „AdMob“ lygina abiejų variantų santykines mėnesio pajamas ir nustato, kuris variantas našesnis. Kai „AdMob“ nustato, kad vieno varianto našumas nuolat reikšmingai geresnis nei kito, A / B versijų testavimo puslapyje rodomas pirmaujantis variantas. Be to, taip pat pateikiame rekomenduojamą veiksmą: „Palikti pradinį variantą“ (jei A variantas yra našesnis) arba „Taikyti variantą“ (jei B variantas yra našesnis). 

Taip pat rodome, su kokiu patikimumo lygiu „AdMob“ nustatė pirmaujantį variantą, pateikdami prognozuojamą procentinę tikimybę (pvz., „99 proc. (prognozuojama)“ tikimybė, kad A varianto našumas bus didesnis nei B“). 

„AdMob“ pirmaujantį variantą ir prognozuojamą procentinę tikimybę nustato pagal toliau nurodytus kriterijus.

• Kaip pastoviai pirmaujančio varianto našumas yra didesnis už kito varianto. 
• Abiejų variantų našumo skirtumo dydis. 
• Pasiekiamų duomenų kiekis. Rekomenduojame pasirinkti didelio srauto sulaukiantį skelbimų rinkinį, kad testuojant būtų surinkta daugiau duomenų. Atminkite, kad testuojant turi būti sulaukta bent 10 000 skelbimų užklausų, kad „AdMob“ galėtų nustatyti rezultatus. 

Kuo didesnis našumo pastovumas ir skirtumo dydis, taip pat kuo didesnis duomenų kiekis, tuo „AdMob“ prognozuojama procentinė tikimybė yra didesnė. 

Jei kuris nors iš šių kriterijų neįvykdomas, „AdMob“ negali nustatyti pirmaujančio varianto. Tokiu atveju A / B versijų testavimo puslapyje nebus pateikti patikimi rezultatai. Tačiau vis tiek galėsite peržiūrėti kiekvieno varianto testavimo metriką. 

Kai nustatomas mažesnis nei 50 proc. naudotojų paskirstymas, B varianto duomenys apskaičiuojami pritaikant atitinkamą daugiklį. Tai reiškia, kad duomenys atitinka teisingą palyginimą, nes „AdMob“ apskaičiuoja B varianto duomenis taip, lyg naudotojai būtų padalyti vienodai.

Pavyzdžiui, jei nustatytas 10 proc. naudotojų paskyrimas B variantui, apskaičiuotos pajamos bus padaugintos iš 9. Tai leidžia teisingai palyginti su A variantu (kuriam paskirta 90 proc. naudotojų). Taigi, jei B variantas uždirba 10 EUR, atitinkamai padidintos B varianto pajamos yra 90 EUR. 

Veiksmai

Rekomenduojame vykdyti testavimą bent dvi savaites, prieš imantis veiksmų. 90 dienų laikotarpiu galite bet kada pasirinkti variantą. Varianto pasirinkimas reiškia, kad pasirenkate naudoti vieną iš tarpininkavimo grupės konfigūracijos variantų visiems (100 proc.) naudotojams. Pasirinkdami variantą atsižvelkite į apskaičiuotų pajamų skirtumą ir prognozuojamą procentinę tikimybę. 

Galite pasirinkti palikti A variantą arba taikyti B variantą. 

• Jei norite pasirinkti A variantą, spustelėkite Palikti. Tai reiškia, kad bus išsaugota pradinė tarpininkavimo grupės konfigūracija.
• Jei norite pasirinkti B variantą, spustelėkite Taikyti. Tai reiškia, kad paskyroje bus pritaikyti varianto nustatymai.

Jei per 90 dienų nepasirinksite varianto, testavimas bus sustabdytas, o A variantas bus naudojamas 100 proc. naudotojų, net jei jis nebuvo geriausias testo variantas. 

Kai baigiamas eksperimentas, turite 30 dienų variantui pasirinkti. Paskui testavimo duomenys nustoja galioti ir B variantas ištrinamas. 

Pastaba: daugiau informacijos apie A / B versijų testavimą rasite tarpininkavimo ataskaitoje.