Как отслеживать эффективность экспериментов

Если вы запустили эксперимент, вам необходимо научиться отслеживать его результаты. Сравнивая эффективность новых и исходных настроек, вы сможете принять обоснованное решение: завершить эксперимент, внести изменения в исходную кампанию или создать кампанию с новыми настройками.

Из этой статьи вы узнаете, как отслеживать эксперименты и интерпретировать их результаты.

Инструкции

Как просмотреть результаты эксперимента

  1. Войдите в аккаунт Google Рекламы.
  2. Найдите и выберите нужный эксперимент. 
  3. В верхней части страницы появится карточка со статистикой эксперимента.

Какие данные приводятся на карточке статистики

  • В разделе "Сравнение эффективности" указывается период времени, за который сопоставляется эффективность экспериментальной и исходной кампании. Учитываются только полные дни, входящие и в период проведения эксперимента, и в диапазон дат, выбранный в таблице ниже. Если эти два диапазона не пересекаются, то в разделе "Сравнение эффективности" указываются полные дни, входящие в период проведения эксперимента.
  • По умолчанию приводятся показатели "Клики", CTR, "Стоимость", "Показы" и "Все конверсии". Нажав на стрелку вниз рядом с нужным показателем, вы можете добавить или удалить любые из следующих данных: 
  • В первой строке, следующей за названием показателя, приводится его значение, полученное в ходе эксперимента. Например, если под заголовком "Клики" указано число 4000, это означает, что с момента запуска эксперимента получено 4000 кликов.
  • Во второй строке приводится оценочная разница эффективности между экспериментом и исходной кампанией.
    • Первое значение – это разность между величиной показателя в эксперименте и в исходной кампании. Например, если в столбце "Клики" указано "+10%", то, согласно оценке, эксперимент получил на 10% больше кликов, чем исходная кампания. Если накоплено недостаточно данных об эксперименте или исходной кампании, то здесь отображается символ "--".
    • Второе значение – это доверительный интервал с уровнем доверия 95%. Проще говоря, это диапазон возможных значений разности между эффективностью эксперимента и эффективностью исходной кампании. Например, если указан интервал [+8%, +12%], то разница эффективности может составлять от 8% до 12%. Если накоплено недостаточно данных об эксперименте или исходной кампании, то здесь отображается символ "--".
    • Если результат статистически значимый, здесь также отображается синяя звездочка.
       
Наведите указатель мыши на вторую строку значений, чтобы просмотреть более подробные сведения:
 
Статистическая значимость. Показывает, являются ли результаты статистически значимыми. 
 
  • Статистически значим. Эта пометка означает, что p-значение меньше или равно 5%. Другими словами, результаты, скорее всего, не случайны, и эксперимент с высокой вероятностью продолжит показывать похожие результаты, если преобразовать его в кампанию. 
  • Статистически не значим. Эта пометка означает, что p-значение больше или равно 5%. Вот несколько возможных причин такого результата:
    • недостаточное время проведения эксперимента;
    • низкий объем трафика кампании;
    • слишком маленькая доля экспериментального трафика;
    • изменения не привели к значимой разнице в эффективности. 
  • В любом случае отображается пояснение о статистической значимости, например: "В силу произвольного характера выборки p-значение (вероятность достижения такой же или более высокой эффективности) составляет 0,2%. Чем ниже p-значение, тем выше статистическая значимость результата".
  • Доверительный интервал. Здесь приводится информация о доверительном интервале с пояснением, например: "В вашем эксперименте этот показатель с вероятностью 95% будет отличаться от показателя в исходной кампании на +10% – +20%".

  • Здесь также приводятся фактические значения выбранного показателя в эксперименте и в исходной кампании.
     

Что можно сделать на карточке статистики

  • Чтобы выбрать другой показатель, нажмите на стрелку рядом с текущим показателем.
  • Чтобы просмотреть данные о конкретной группе объявлений в эксперименте, нажмите на нее в таблице. 

 

Статьи по теме

Эта информация оказалась полезной?
Как можно улучшить эту статью?