Којим методом тим за експерименте израчунава интервале поверења и статистички значај?
Поновљено узорковање џекнајф методом се примењује на сегментиране податке да би се израчунала варијанса узорка процентуалне промене показатеља. Затим се обавља двострано тестирање статистичког значаја коришћењем интервала поверења од 95%.
Зашто сегментирамо податке?
Сегментирање података смањује утицај мањих грешака опажања. Ако желите да сазнате више о томе зашто је сегментирање података корисно, можете да почнете овде.
Чак и ако подаци нису нормално расподељени, сегментирани подаци ће, на основу централне граничне теореме, бити приближно нормално расподељени, под условом да има довољно опажања по сегменту. Да бисмо узели у обзир случајеве када нема довољно опажања по сегменту, за израчунавање интервала поверења користимо џекнајф методу.
Зашто користимо поновљено узорковање џекнајф методом?
Поновљено узорковање џекнајф методом је стандард у Google-у јер је то вишенаменска метода која пружа велику покривеност. Ефикасна је и у откривању вредности које се издвајају, као и у смањивању фаворизовања од стране процене узорка. Поред тога, нарочито је корисна у ситуацијама када нема довољно података да би се помоћу централне граничне теореме добила прецизна процена. Тада се користи на сегментираним подацима да би се додатно повећала прецизност интервала поверења.
Општи преглед поновљеног узорковања џекнајф методом потражите овде. Ако желите додатно објашњење њене корисности, погледајте овај документ са више детаља.
Да ли спољни оглашавачи могу да обједине податке о учинку више експеримената по њиховом завршетку и да поново израчунају статистичке податке на општем нивоу?
Не, оглашавачи немају приступ подацима на нивоу корисника и не могу поново да направе сегменте и покрену џекнајф алгоритам. Тренутно не постоје интерне алатке које омогућавају да то радимо уместо клијената.
Да ли циљање утиче на то како се расподела удела у аукцијама примењује на експерименталну и оригиналну кампању?
Циљање не утиче на расподелу. Расподелу примењујемо на аукције које испуњавају услове пре примене циљања. На пример, расподела 50/50 значи да експериментална и оригинална кампања учествују у истом броју аукција.
Који су услови за право A/A тестирање?
A/A тестирање је оно у ком су експериментална и оригинална кампања исте током трајања теста (нема разлике у огласима, огласним групама, подешавањима и сличним ставкама кампање, као ни у одобравању огласа). Евентуалне промене током A/A тестирања бисте морали да унесете истовремено и у експерименталну и у оригиналну грану.
Који су очекивани резултати A/A тестирања?
Не би требало да дође до статистички значајних разлика у броју кликова, броју приказа, стопи учесталости кликова и цени по клику.
Каква је разлика између поделе засноване на претрази и поделе засноване на колачићима?
То су две различите опције помоћу којих одлучујете који ће поступак бити примењен на корисника. Помоћу експерименталних делова заснованих на претрази корисници се насумично додељују у експеримент или оригиналну кампању сваки пут када дође до претраге. Ако претражује више пута, постоји могућност да исти корисник види и експеримент и оригиналну кампању. Помоћу експерименталних делова заснованих на колачићима корисници могу да виде само једну верзију ваше кампање, без обзира на то колико пута претражују. На тај начин обезбеђујете да на резултате не утичу други фактори.
Колико сегмената се користи?
По двадесет сегмената се користи у контролној и у примењеној грани. Ако има превише сегмената, добијање статистички значајних резултата може предуго да траје. Ако има премало сегмената, прорачун интервала поверења можда није прецизан. Ово представља добру равнотежу између практичних захтева и статистичке снаге.
