Из этой статьи вы узнаете, как отслеживать эксперименты и интерпретировать их результаты.
Инструкции
Как посмотреть результаты эксперимента
- В меню Кампании
нажмите Эксперименты.
- Найдите и выберите нужный эксперимент.
- Проверьте таблицу "Сводка по эксперименту" и карточку сводки и нажмите Применить эксперимент или Завершить эксперимент.
нажмите Какие данные приводятся в сводке
- В разделе Сравнение эффективности указывается период времени, за который сопоставляется эффективность экспериментальной и исходной кампании. Учитываются только полные дни, входящие и в период проведения эксперимента, и в диапазон дат, выбранный в таблице ниже. Если эти два диапазона не пересекаются, то в разделе "Сравнение эффективности" указываются полные дни, входящие в период проведения эксперимента.
- По умолчанию приводятся показатели "Клики", CTR, "Стоимость", "Показы" и "Все конверсии". Нажав на стрелку вниз рядом с нужным показателем, вы можете добавить или удалить любые из следующих данных:
- Клики
- CTR
- Стоимость
- Сред. цена за клик
- Показы
- Все конв. (только если настроено отслеживание конверсий)
- Коэфф. конверсии (только если настроено отслеживание конверсий)
- Конверсии (только если настроено отслеживание конверсий)
- Стоимость/конв. (только если настроено отслеживание конверсий)
- Конверсии по показам (только если настроено отслеживание конверсий)
- Дополнительные запросы (доступно для экспериментов с широким соответствием)
- В первой строке, следующей за названием показателя, приводится его значение из эксперимента. Например, если под заголовком "Клики" указано 4000, это означает, что с момента запуска эксперимента получено 4000 кликов.
- Во второй строке приводятся расчетные данные по разнице в эффективности между экспериментом и исходной кампанией.
- Первое значение – это разность между величиной показателя в эксперименте и в исходной кампании. Например, если в столбце "Клики" указано "+10 %", то, согласно расчетам, в эксперименте получено на 10 % больше кликов, чем в исходной кампании. Если накоплено недостаточно данных об экспериментальной или исходной кампании, то вместо значения вы увидите "--".
- Второе значение показывает возможную разницу в эффективности между экспериментальной и исходной кампанией при выборе доверительного интервала 95 %. Например, если вы видите [+8 %, +12 %], это значит, что рост эффективности может составлять от 8 % до 12 %. Если не накоплено достаточно данных об эксперименте или исходной кампании, то вместо значения вы увидите "--". При желании вы можете менять доверительный интервал (по умолчанию он равен 80 %) и в динамике наблюдать, как при этом ведут себя показатели эксперимента.
- Если результат статистически значимый, он будет отмечен синей звездочкой.
Анализ показателей
Интерпретируя результаты в таблице "Эксперименты", вы можете принимать обоснованные решения. Эта таблица содержит следующие столбцы:
- Название. Здесь указывается название эксперимента. Нажав на него, можно посмотреть подробные сведения об этом эксперименте.
- Тип. Здесь указывается тип эксперимента, который вы сейчас проводите. Примеры: прирост показателей при использовании кампаний с максимальной эффективностью, специальный медийный креатив, видео, и т. д.
- Статус. Здесь указывается текущий статус эксперимента, например "Выполняется", "Завершено (применено)" или "Запланировано".
- Результаты. Здесь указывается, какая кампания оказалась эффективнее – контрольная или экспериментальная.
- Контрольная кампания. Означает, что контрольная кампания оказалась эффективнее экспериментальной.
- Экспериментальная кампания. Означает, что экспериментальная кампания оказалась эффективнее контрольной.
- Ни один из вариантов не показал себя как лучший/Выполняется. Означает, что в эксперименте ещё не определен лучший вариант или не получено достаточно данных. Мы рекомендуем подождать 2—3 недели. Если и после этого лучший вариант не будет определен, попробуйте увеличить бюджет или подождать ещё некоторое время, чтобы собрать достаточно данных.
- Действия. Здесь можно посмотреть действие, которое рекомендуется по результатам эксперимента, например "Применить".
- Дата начала. Здесь указывается дата начала эксперимента.
- Дата окончания. Здесь указывается дата окончания эксперимента.
- Показатели. В зависимости от целей, типа эксперимента и выбранных при его создании показателей таблица содержит определенный набор показателей, таких как "Конверсии" и "Ценность конверсии". Они представляют собой процентное изменение результатов экспериментальной кампании в сравнении с контрольной. Вы можете навести указатель на значение в этом столбце, чтобы посмотреть дополнительную информацию, в том числе доверительный интервал.
- Чтобы добавить показатели, нажмите на значок столбцов
, выберите показатели и нажмите Сохранить. Таким же образом можно удалить ненужные столбцы.
Совет
Наведите курсор на вторую строку значений, чтобы посмотреть более подробные сведения, такие как:
- Статистическая значимость. Показывает, являются ли результаты статистически значимыми.
- Статистически значимо. Означает, что результаты, скорее всего, не случайны, и эксперимент с высокой вероятностью продолжит показывать похожие результаты, если преобразовать его в кампанию.
- Статистически не значимо. Такое может произойти по нескольким причинам, перечисленным ниже. Вы можете изменить выбранный в сводке показатель, нажав на раскрывающееся меню рядом с ним.
- Эксперимент проводится недостаточно долгое время.
- Низкий объем трафика кампании.
- Слишком маленькая доля экспериментального трафика.
- Изменения не привели к значимой разнице в эффективности.
- Доверительный интервал. Здесь приводится информация о доверительном интервале с пояснением, например: "В вашем эксперименте этот показатель с вероятностью 95 % будет отличаться от показателя в исходной кампании на +10 % – +20 %".
-
Здесь также приводятся фактические значения выбранного показателя в эксперименте и в исходной кампании.
Что можно сделать на карточке сводки
- Чтобы выбрать другой показатель, нажмите на стрелку рядом с текущим показателем.
- Чтобы посмотреть данные об определенной группе объявлений в эксперименте, нажмите на нее в таблице.
- Чтобы посмотреть сведения о кампании, например ее название и бюджет, наведите указатель на нужную ячейку в таблице.
Временная диаграмма
На временной диаграмме показано изменение одного или двух показателей в экспериментальной и контрольной кампаниях с течением времени. С помощью этой диаграммы можно понять, как эксперимент повлиял на определенный показатель и как его значения менялись с течением времени.
Статистика экспериментов, созданная ИИ
Теперь в Google Рекламе доступны сводки отчетов по экспериментам, созданные ИИ. Они помогают легко выявлять ключевые тенденции, диагностировать проблемы с эффективностью и получать понятные и полезные рекомендации по улучшению кампаний без необходимости проводить анализ вручную.
Как работает статистика на основе ИИ
В обновленных отчетах на вкладке "Сводка" есть специальная панель со статистикой, созданной ИИ. На этой панели динамически показываются следующие сведения:
- Цели экспериментов. Информация о том, что должен был измерить ваш эксперимент.
- Две основные подсказки. Ключевые выводы и конкретные рекомендации для ваших кампаний.
- Три вопроса. Рекомендуемые вопросы, которые открывают Ask Advisor, чтобы вы могли подробнее изучить данные.
Как применить или завершить эксперимент
Чтобы применить результаты эксперимента к кампании или завершить его, нажмите кнопку "Применить" или "Завершить" в правом нижнем углу карточки "Сводка по эксперименту" (над временной диаграммой).
Как автоматически применить экспериментальный вариант в случае положительного результата (только для некоторых типов экспериментов)
Эта функция включена по умолчанию. Если эксперимент даст положительный результат по сравнению с исходной кампанией, пробная кампания применится автоматически и весь трафик будет перенаправлен в нее. Это позволяет с минимальными усилиями применять настройки, которые хорошо себя покажут в экспериментах.
Примечание. Автоматическое применение можно отключить в любой момент во время эксперимента на странице "Отчеты".
На странице "Эксперименты" можно создать эксперимент, используя карточки рекомендаций. Вы можете включить автоматическое применение в ходе настройки эксперимента. Когда эксперимент будет готов, на его сводной карточке появится подсказка со статусом этой функции, где ее можно будет включить или отключить.
Кроме того, в столбце статуса на странице "Эксперименты" указывается, результаты каких экспериментов были применены. Вы можете увидеть одно из следующих значений:
- Завершено (не применено).
- Завершено (применяется…).
- Завершено (применено или преобразовано).
Когда эксперимент завершится, в подсказке появится информация о том, были ли применены изменения.
Дополнительная информация для экспериментов разных типов
Эксперименты с широким соответствием
Дополнительные запросы
Эксперименты с широким соответствием, которые можно настроить на странице для создания экспериментов или на карточке рекомендаций, теперь позволяют получить более подробные данные о дополнительных запросах.
Дополнительные запросы – это поисковые запросы, которые соответствуют ключевому слову с широким соответствием в вашем эксперименте, но не использовались в аккаунте Google Рекламы во время эксперимента. Клики по этим запросам связаны как минимум с одной конверсией.
Дополнительные запросы помогают оценить чистый новый трафик, полученный от ключевых слов с широким соответствием и принесший конверсии, но не связанный с другими ключевыми словами, заданными в вашем аккаунте во время эксперимента.
Вы можете посмотреть до пяти дополнительных запросов (если они доступны) на главной странице экспериментов и на странице отчетов.
Эксперименты в кампаниях с максимальной эффективностью
Что произойдет, если приостановить или удалить эксперимент в кампании с максимальной эффективностью
Вы можете в любое время приостановить или завершить контрольную или экспериментальную компанию. Чтобы перезапустить приостановленный эксперимент, нажмите кнопку "Возобновить" или повторно активируйте кампании вручную.
- Приостановленные кампании
- Если приостановить контрольную или экспериментальную кампанию, эксперимент будет приостановлен. 100 % трафика будет направляться в кампанию, оставшуюся активной.
- Если приостановить и контрольную, и экспериментальную кампании, эксперимент также приостановится.
- Статус эксперимента на дату окончания
- Когда наступит дата окончания, статус эксперимента в кампании с максимальной эффективностью будет изменен на "Завершено" или "Запущен" независимо от настроек автоматического применения. Однако если результаты эксперимента хорошие и автоматическое применение включено, эксперименту будет присвоен статус "Завершено" и его настройки будут применены к текущей кампании.
- Если наступила дата окончания эксперимента и автоматическое применение отключено, нужно будет применить изменения вручную.
- Удаление кампаний
- Если удалить контрольную или экспериментальную кампанию, 100 % трафика будет направлено в кампанию, оставшуюся активной.
- Если удалить только контрольную кампанию, эксперимент будет запущен.
- Если удалить только экспериментальную кампанию, эксперимент будет завершен.
- Если удалить и контрольную, и экспериментальную кампании, эксперимент будет завершен.
- Если удалить контрольную или экспериментальную кампанию, 100 % трафика будет направлено в кампанию, оставшуюся активной.
| Статус кампании | Трафик после действий пользователей | Статус эксперимента до даты окончания | Статус эксперимента в дату окончания | |||||
| Действие пользователя | Управление | Вариант | Возможность управления | Возможность выбора варианта | ||||
| Приостановка любой кампании | Приостановлено | Активно | 0 % | 100 % | Приостановлен | Если автоматическое применение включено и экспериментальная группа получила положительные результаты, эксперименту будет присвоен статус "Запущен". В противном случае он получит статус "Завершен". | ||
| Активно | Приостановлено | 100 % | 0 % | Приостановлен | ||||
| Приостановка обеих кампаний | Приостановлено | Приостановлено | 0 % | 0 % | Приостановлен | |||
| Удаление любой кампании | Удалено | Активно | 0 % | 100 % | Запущен | |||
| Активно | Удалено | 100 % | 0 % | Завершен | ||||
| Удаление обеих кампаний | Удалено | Удалено | 0 % | 0 % | Завершен | |||
Как посмотреть и изменить кампанию, которую вы сравниваете с кампанией с максимальной эффективностью
Во время эксперимента вы должны сами вносить изменения в список кампаний для сравнения, иначе Google выберет такие кампании за вас. По окончании эксперимента вы больше не сможете добавлять или удалять кампании для сравнения.
- Просмотр результатов в сравнении. Чтобы вам было проще сравнивать результаты экспериментальной и похожих на нее кампаний, включите функцию "Сравнивать результаты с сопоставимыми кампаниями" в отчетах Google Рекламы.
- Выбор кампаний для сопоставления. Вы можете сами выбирать, какие кампании использовать для сравнения в ходе эксперимента. Достаточно изменить выбор кампаний в настройках. Если вы не сделаете этого, Google подберет кампании автоматически. По окончании эксперимента вы не сможете добавлять в отчет кампании для сравнения или удалять их.