Статистична методологія для чернеток і експериментів

Який метод використовує команда чернеток і експериментів для обчислення меж достовірності та статистичної значущості?

До сегментованих даних застосовується метод складано-ножевої перевибірки, щоб обчислювати вибіркову дисперсію відсоткової зміни показника. Потім виконується двостороння перевірка значущості з межами достовірності в 95%.

Навіщо сегментувати дані?

Сегментація даних зменшує вплив незначних помилок спостереження. Докладнішу інформацію про переваги сегментації даних наведено зокрема в цій статті.

Навіть якщо дані не є нормально розподіленими, сегментовані дані за центральною граничною теоремою будуть приблизно нормально розподіленими, якщо для кожного сегмента достатньо спостережень. Щоб враховувати випадки, коли для сегментів недостатньо спостережень, за допомогою метода складано-ножевої перевибірки обчислюються межі достовірності.

Навіщо використовувати метод складано-ножевої перевибірки?

Метод складано-ножевої перевибірки є стандартним у Google через його універсальність і широке покриття. Він допомагає ефективно визначати різкі відмінності та зменшити кількість систематичних помилок оцінки вибірки. Крім того, він дуже корисний у випадках, коли недостатньо даних для точної оцінки на основі центральної граничної теореми, і використовується із сегментованими даними, щоб підвищити точність меж достовірності.

Огляд метода складано-ножевої вибірки наведено тут, а у цьому документі докладніше розповідається про його переваги. 

Чи можуть зовнішні рекламодавці звести показники ефективності кількох завершених експериментів і переобчислити статистику на сукупному рівні? 

Ні, рекламодавці не мають доступу до даних на рівні користувачів і не можуть відтворювати сегменти та запускати алгоритм складано-ножевої перевибірки. Наразі немає внутрішніх інструментів, за допомогою яких можна зробити це від імені наших клієнтів.

Чи впливає націлювання на застосування розподілу частки аукціону до експерименту й основної кампанії?

Націлювання не впливає на розподіл. Розподіл застосовується до придатних аукціонів перед націлюванням. Наприклад, розподіл 50:50 означає, що експериментальний і контрольний варіанти взяли участь в однаковій кількості аукціонів.

За яких умов можна отримати точні результати A/A тестування?

На час A/A тестування експериментальний і контрольний варіанти ідентичні (немає відмінностей у налаштуваннях, оголошеннях, групах оголошень кампанії тощо, а також у схваленні оголошень). Будь-які зміни під час A/A тестування потрібно водночас вносити й в експериментальну, і в контрольну групу. 

Якими є очікувані результати A/A тестування?

Не має бути статистично значущих відмінностей у кількості кліків і показів, ціні за клік та показниках CTR. 

У чому різниця між розподілом на основі пошуку й розподілом на основі файлів cookie?

Існує два способи розподілу оголошень між користувачами. За експериментальних варіантів на основі пошуку користувачі випадковим чином спрямовуються або в експериментальну, або в основну кампанію після кожного пошукового запиту. Якщо користувач виконає кілька пошуків, він може побачити як експериментальну, так і основну версію кампанії. За експериментальних варіантів на основі файлів cookie користувач бачить лише одну версію вашої кампанії, незалежно від кількості здійснених пошуків. Так на результати не впливатимуть інші чинники.

Скільки сегментів використовується?

І в контрольній, і в експериментальній групах використовуються двадцять сегментів. Якщо сегментів забагато, для отримання статистично значущих результатів може знадобитися багато часу. Якщо сегментів замало, обчислення меж достовірності може бути неточним. Ми вибрали найоптимальніший варіант за зручністю й статистичною точністю.

Чи корисна ця інформація?
Як можна її покращити?

Потрібна додаткова допомога?

Увійдіть в обліковий запис, щоб отримати додаткову допомогу та швидко вирішити проблему