Статистичка методологија у вези са радним верзијама и експериментима

Помоћу које методе тим за радне верзије и експерименте израчунава интервале поверења и статистички значај?

Поновљено узорковање џекнајф методом се примењује на сегментиране податке да би се израчунала варијанса узорка процентуалне промене показатеља. Затим се обавља двострано тестирање статистичког значаја коришћењем интервала поверења од 95%.

Зашто сегментирамо податке?

Сегментирање података смањује утицај мањих грешака опажања. Ако желите да сазнате више о томе зашто је сегментирање података корисно, можете да почнете овде.

Чак и ако подаци нису нормално расподељени, сегментирани подаци ће, на основу централне граничне теореме, бити приближно нормално расподељени, под условом да има довољно опажања по сегменту. Да бисмо узели у обзир случајеве када нема довољно опажања по сегменту, за израчунавање интервала поверења користимо џекнајф методу.

Зашто користимо поновљено узорковање џекнајф методом?

Поновљено узорковање џекнајф методом је стандард у Google-у јер је то вишенаменска метода која пружа велику покривеност. Ефикасна је и у откривању вредности које се издвајају, као и у смањивању фаворизовања од стране процене узорка. Поред тога, нарочито је корисна у ситуацијама када нема довољно података да би се помоћу централне граничне теореме добила прецизна процена. Тада се користи на сегментираним подацима да би се додатно повећала прецизност интервала поверења.

Општи преглед поновљеног узорковања џекнајф методом потражите овде. Ако желите додатно објашњење њене корисности, погледајте овај папир са више детаља

Да ли спољни оглашавачи могу да обједине податке о учинку више експеримената по њиховом завршетку и да поново израчунају статистичке податке на општем нивоу? 

Не, оглашавачи немају приступ подацима на нивоу корисника и не могу поново да направе сегменте и покрену џекнајф алгоритам. Тренутно не постоје интерне алатке које омогућавају да то урадимо у име клијената.

Да ли циљање утиче на то како се подела удела у аукцијама примењује на експерименталну и основну кампању?

Циљање не утиче на поделу. Поделу примењујемо на аукције које испуњавају услове пре него што применимо циљање. На пример, подела 50/50 значи да експериментални и контролни оглас учествују у истом броју аукција.

Који су услови за право A/A тестирање?

A/A тестирање је оно у ком су експериментална и контролна група исте током трајања теста (нема разлике у вези са огласима/огласним групама/подешавањима кампање и сличним ставкама и нема разлике у вези са одобравањем огласа). Ако уносите промене док A/A тестирање траје, морате истовремено да их унесете и у експерименталну и у контролну грану. 

Који су очекивани резултати A/A тестирања?

Не би требало да дође до статистички значајних разлика у броју кликова, броју приказа, стопи учесталости кликова и цени по клику. 

Каква је разлика између поделе засноване на претрази и поделе засноване на колачићима?

То су две различите опције помоћу којих одлучујете који ће поступак бити примењен на корисника. Помоћу експерименталних делова заснованих на претрази корисници се насумично додељују у експеримент или првобитну кампању сваки пут када дође до претраге. Ако претражује више пута, постоји могућност да исти корисник види и експеримент и првобитну кампању. Помоћу експерименталних делова заснованих на колачићима корисници могу да виде само једну верзију ваше кампање, без обзира на то колико пута претражују. На тај начин обезбеђујете да на резултате не утичу други фактори.

Колико сегмената се користи?

По двадесет сегмената се користи у контролној и у примењеној грани. Ако има превише сегмената, добијање статистички значајних резултата може предуго да траје. Ако има премало сегмената, прорачун интервала поверења можда није прецизан. Ово представља добру равнотежу између практичних захтева и статистичке снаге.

Да ли вам је ово било корисно?
Како то можемо да побољшамо?

Треба вам додатна помоћ?

Пријавите се за додатне опције за подршку да бисте брзо решили проблем