Який метод використовує команда експериментів, щоб обчислювати довірчий інтервал і статистичну значущість?
До сегментованих даних застосовується метод складано-ножевої перевибірки. За його допомогою обчислюється вибіркова дисперсія відсоткової зміни показника. Потім виконується двостороння перевірка значущості з межами достовірності в 95%.
Навіщо сегментувати дані?
Сегментація даних зменшує вплив незначних помилок спостереження. Докладнішу інформацію про переваги сегментації даних наведено зокрема в цій статті.
Навіть якщо дані не є нормально розподіленими, сегментовані дані за центральною граничною теоремою будуть приблизно нормально розподіленими, якщо для кожного сегмента достатньо спостережень. Щоб враховувати випадки, коли для сегментів недостатньо спостережень, за допомогою метода складано-ножевої перевибірки обчислюються межі достовірності.
Навіщо використовувати метод складано-ножевої перевибірки?
Метод складано-ножевої перевибірки є стандартним у Google через його універсальність і широке покриття. Він допомагає ефективно визначати різкі відмінності та зменшувати кількість систематичних помилок оцінки вибірки. Крім того, він дуже корисний у випадках, коли недостатньо даних для точної оцінки на основі центральної граничної теореми, і використовується із сегментованими даними, щоб підвищити точність меж достовірності.
Огляд методу складано-ножевої вибірки наведено тут, а у цьому документі докладніше розповідається про його переваги.
Чи можуть зовнішні рекламодавці звести показники ефективності кількох завершених експериментів і переобчислити статистику на сукупному рівні?
Ні, рекламодавці не мають доступу до даних на рівні користувачів і не можуть відтворювати сегменти та запускати алгоритм складано-ножевої перевибірки. Наразі немає внутрішніх інструментів, за допомогою яких можна зробити це від імені наших клієнтів.
Чи впливає націлювання на застосування розподілу частки аукціону до експерименту й вихідної кампанії?
Націлювання не впливає на розподіл. Розподіл застосовується до придатних аукціонів перед націлюванням. Наприклад, розподіл 50:50 означає, що експериментальний і вихідний варіанти взяли участь в однаковій кількості аукціонів.
За яких умов можна отримати точні результати тестування A/A?
На час тестування A/A експериментальний і вихідний варіанти ідентичні (немає відмінностей у налаштуваннях, оголошеннях, групах оголошень кампанії тощо, а також у схваленні оголошень). Будь-які зміни під час тестування A/A потрібно водночас вносити як в експериментальну, так і у вихідну групу.
Якими є очікувані результати тестування A/A?
Не має бути статистично значущих відмінностей у кількості кліків і показів, ціні за клік та показниках CTR.
У чому різниця між розподілом на основі пошуку й розподілом на основі файлів cookie?
Існує два способи розподілу оголошень між користувачами. За експериментальних варіантів на основі пошуку користувачі випадковим чином спрямовуються або в експериментальну, або в основну кампанію після кожного пошукового запиту. Якщо користувач виконає кілька пошуків, він може побачити як експериментальну, так і основну версію кампанії. За експериментальних варіантів на основі файлів cookie користувач бачить лише одну версію вашої кампанії, незалежно від кількості здійснених пошуків. Так на результати не впливатимуть інші чинники.
Скільки сегментів використовується?
І в контрольній, і в експериментальній групах використовуються двадцять сегментів. Якщо сегментів забагато, для отримання статистично значущих результатів може знадобитися багато часу. Якщо сегментів замало, обчислення меж достовірності може бути неточним. Ми вибрали найоптимальніший варіант за зручністю та статистичною точністю.
