Какъв метод се използва от екипа за експериментите за изчисляване на доверителните интервали и статистическата значимост?
Към разделените в групи данни се прилага повторно генериране на извадки чрез „метода на джобното ножче“, за да се изчисли дисперсията на извадката за процентна промяна на показател. След това се провежда двустранен тест за значимост, като се използва 95-процентен доверителен интервал.
Защо данните се разделят в групи?
По този начин се намалява въздействието на малки грешки при наблюденията. Ако искате да научите защо разделянето на данните на групи е полезно, това е добро начално обяснение.
Дори първоначалните данни да не са нормално разпределени, съгласно централната гранична теорема разпределените в групи данни ще бъдат приблизително нормално разпределени, при условие че във всяка група има достатъчно наблюдения. За да се отчетат случаите, когато няма достатъчно наблюдения за група, за изчисляване на доверителния интервал се използва „методът на джобното ножче“.
Защо се използва повторно генериране на извадка чрез „метода на джобното ножче“?
Този метод е стандартно използваният в Google, тъй като е гъвкав и осигурява високо ниво на покритие. Също така е ефикасен за откриване на силно отличаващи се стойности и за намаляване на систематичната грешка в прогнозната извадка. Освен това е особено полезен в случаите, когато няма достатъчно данни за точна оценка чрез централната гранична теорема, затова се използва спрямо разделените в групи данни за допълнително повишаване на точността на доверителните интервали.
Можете да намерите общ преглед на този метод за повторно генериране на извадка тук. Ако се интересувате от допълнителни обяснения за полезността му, ще намерите повече подробности в тази статия.
Външните рекламодатели могат ли да обобщят данните за ефективността на няколко експеримента след приключването им и да изчислят наново обобщените статистически данни?
Не, рекламодателите нямат достъп до данните на ниво потребители, за да групират отново данните и да приложат „метода на джобното ножче“. Понастоящем няма вътрешни инструменти, които да изпълняват това от името на клиентите ни.
Насочването отразява ли се върху начина, по който се извършва разделянето на търговете за експеримента и първоначалната кампания?
Насочването не се отразява върху разделянето. Отговарящите на условията търгове се разделят, преди да се приложи насочването. Например разделяне 50:50 означава, че и експериментът, и първоначалната кампания участват в един и същ брой търгове.
Какви са условията за истински едновариантен тест?
Едновариантният тест е такъв, при който експерименталният и първоначалният вариант са идентични през времетраенето на теста (няма разлики в рекламите, рекламните групи, настройките и др. за кампаниите и няма разлики в одобрените реклами). Всички промени по време на едновариантния тест трябва да се извършват едновременно и в експерименталната, и в първоначалната част.
Какви са очакваните резултати от едновариантен тест?
Не трябва да има статистически значими разлики в броя кликвания и импресии, CTR или CPC.
Каква е разликата между разделяне на базата на търсене и разделяне на базата на „бисквитки“?
Това са две различни опции, с които се определя по какъв начин да се третира потребителят. При експерименталните сегменти въз основа на търсене потребителите по произволен начин се насочват към експеримента или към оригиналната кампания винаги, когато се извърши търсене. Възможно е един и същ потребител да види както експеримента, така и оригиналната Ви кампания, ако осъществи няколко търсения. При експерименталните сегменти въз основа на „бисквитки“ потребителите може да виждат само една версия на кампанията Ви, независимо от броя на търсенията си. По този начин може да се избегне влиянието на други фактори върху резултатите.
Колко групи от данни се използват?
И в контролната, и в експерименталната част се използват двайсет групи от данни. Ако групите са твърде много, получаването на статистически значими резултати може да отнеме твърде много време. Ако са твърде малко, изчисленията за доверителния интервал може да не са точни. Тази стойност постига добър баланс между практическите изисквания и статистическата достоверност.
