Kādu metodi eksperimentu komanda izmanto, lai aprēķinātu ticamības intervālus un statistisko nozīmīgumu?
Lai aprēķinātu rādītāja procentuālo izmaiņu dispersiju, segmentētiem datiem tiek veikta atkārtota izlase, izslēdzot noteiktas parauga daļas (saliekamā naža metode jeb pārkārtošana, izmantojot sadalīšanu). Pēc tam tiek veikta divpusēja nozīmīguma testēšana, izmantojot 95% iespējamo intervālu.
Kāpēc tiek veikta datu segmentēšana?
Datu segmentēšana samazina ietekmi, ko rada nenozīmīgas novērojumu kļūdas. Ja vēlaties uzzināt vairāk par datu segmentēšanas noderīgumu, izlasiet šo rakstu.
Pat tad, ja dati netiek sadalīti parastā veidā, segmentētie dati būs aptuveni parasti sadalīti, pamatojoties uz centrālo robežteorēmu (ja katrā segmentā būs pietiekami daudz novērojumu datu). Lai ietvertu arī gadījumus, kad nav pietiekami daudz novērojumu datu uz segmentu, iespējamā intervāla aprēķināšanai tiek izmantota datu sadalīšanas metode.
Kāpēc tiek veikta datu pārkārtošana, izmantojot sadalīšanu?
Datu pārkārtošana, izmantojot sadalīšanu, ir standarta metode uzņēmumā Google, jo tā ir plaši lietojama visaptveroša metode. Tā arī ļauj efektīvi noteikt izlecošās vērtības un samazināt parauga aprēķinu pielāgošanas nepieciešamību. Turklāt tā ir īpaši noderīga situācijās, kad nav pietiekami daudz datu, lai iegūtu precīzus aprēķinus, izmantojot centrālo robežteorēmu. Līdz ar to segmentētiem datiem tiek izmantota šī metode, lai palielinātu iespējamo intervālu precizitāti.
Vispārīgs kopsavilkums par datu pārkārtošanu, izmantojot sadalīšanu, ir pieejams šeit. Ja vēlaties uzzināt vairāk par metodes noderīgumu, skatiet šo rakstu.
Vai ārējie reklāmdevēji var apkopot vairāku eksperimentu veiktspējas datus pēc to izpildes un pārrēķināt statistiku apkopotu datu līmenī?
Nē, reklāmdevējiem nav piekļuves lietotāja līmeņa datiem, lai atkārtoti izveidotu segmentus un izpildītu pārkārtošanas algoritmu. Pašlaik nav nekādu iekšējo rīku, lai mēs to varētu izdarīt savu klientu vietā.
Vai mērķauditorijas atlase ietekmē to, kā izsoles daļu sadalījums tiek piemērots eksperimentālajai daļai un sākotnējai kampaņai?
Mērķauditorijas atlase sadalījumu neietekmē. Sadalījums piemērotajām izsolēm tiek lietots pirms mērķauditorijas atlases. Piemēram, sadalījums 50:50 nozīmē, ka eksperimenta kampaņa un sākotnējā kampaņa piedalās vienādā skaitā izsoļu.
Kādi ir nosacījumi īsta A/A testa veikšanai?
A/A testā eksperimenta kampaņa un sākotnējā kampaņa ir identiskas visu testa izpildes laiku (kampaņas reklāmu un reklāmu kopu iestatījumi neatšķiras, nav atšķirību reklāmu apstiprināšanā u.c.). Jebkuras izmaiņas, kas tiek veiktas A/A testa izpildes laikā, ir vienlaikus jāievieš gan eksperimenta kampaņā, gan sākotnējā kampaņā.
Kādi ir paredzamie A/A testa rezultāti?
Nevajadzētu būt statistiski nozīmīgu klikšķu un seansu skaita, kā arī VKS vai MPK atšķirību.
Ar ko atšķiras sadalījums, kura pamatā ir meklēšana, no sadalījuma, kura pamatā ir sīkfaili?
Ir divas dažādas iespējas, kā rādīt lietotājam reklāmas. Izmantojot eksperimentālās daļas, kuru pamatā ir meklēšana, lietotāji, veicot meklēšanu, ikreiz nejaušā secībā tiek ievietoti vai nu eksperimenta kampaņas, vai arī sākotnējās kampaņas mērķauditorijā. Pastāv iespēja, ka vienam lietotājam var tikt parādītas gan eksperimenta kampaņas reklāmas, gan sākotnējās kampaņas reklāmas, ja šis lietotājs meklēšanu veic vairākkārt. Izmantojot eksperimentālās daļas, kuru pamatā ir sīkfaili, lietotājiem var tikt parādītas tikai vienas jūsu kampaņas versijas reklāmas — neatkarīgi no tā, cik reižu viņi veic meklēšanu. Šādi varat labāk pasargāt rezultātus no citu faktoru ietekmes.
Cik daudz segmentu tiek izmantots?
Gan kontroles kampaņā, gan eksperimentālajā kampaņā tiek izmantots pa divdesmit segmentiem. Ja segmentu ir pārāk daudz, statistiski nozīmīgu rezultātu iegūšana var pārāk ieilgt. Ja segmentu ir pārāk maz, iespējamo intervālu aprēķini var nebūt precīzi. Minētais segmentu skaits nodrošina labu praktisko prasību un statistikas datu apstrādes iespēju līdzsvaru.