Эксперименты – это A/B-тестирование аудиторий, настроек таргетинга, стратегий назначения ставок, отдельных креативов и их групп. Эта функция полностью интегрирована в Дисплей и Видео 360 и помогает сравнивать эффективность заказов на размещение или позиций.
Эксперименты позволяют распределить пользователей на непересекающиеся группы и протестировать на них разные комбинации таргетинга, настроек и креативов, чтобы выявить самые эффективные. Полученные данные можно использовать для оптимизации уже запущенных рекламных кампаний или планирования будущих.
С помощью экспериментов можно:
- тестировать изменяемые параметры, влияющие на кампанию, в том числе ее таргетинг, настройки, креативы и многое другое;
- создавать отчеты о ключевых показателях, таких как цена за клик, конверсию и тысячу показов, а также коэффициент конверсии и CTR.
Пользовательские идентификаторы
В Дисплее и Видео 360 применяются пользовательские идентификаторы. Благодаря этому ваши эксперименты продолжатся, даже если сторонние идентификаторы перестанут поддерживаться. В этом случае для переадресации будут применяться резервные идентификаторы. Применение пользовательских идентификаторов повышает вероятность того, что у каждого показа объявления будет свой идентификатор.
По умолчанию в экспериментах задействуются пользовательские идентификаторы и случайная выборка. Это позволяет обеспечить максимальное количество участников эксперимента. Вы можете исключить пользователей без идентификаторов. Для чистоты эксперимента нужно отфильтровать трафик без сторонних идентификаторов, но обратите внимание, что это уменьшит количество пользователей, которые участвуют в вашем эксперименте.
Основные понятия
Фактические значения
Первичные данные, полученные в результате эксперимента. Они отражают фактическое количество конверсий, которые принес текущий вариант.
Группа
Группа может включать:
- отдельную позицию или заказ на размещение;
- набор позиций или заказов на размещение.
Базовый элемент и его вариант являются отдельными группами в составе эксперимента.
Базовый элемент
Позиция или заказ на размещение, которые при сопоставлении значений используются в качестве базовых. Все варианты сравниваются с эталоном.
Доверительный интервал
Уровень уверенности в том, что фактические различия между вариантами будут входить в диапазон значений, представленный в отчете. Например, вы можете указать, что полученные значения должны попадать в заданный диапазон с вероятностью 90 % или 95 %.
Таким образом, доверительный интервал 90 % означает, что результаты 90 из 100 повторных тестов в одном эксперименте будут входить в установленный диапазон.
Нормализованные значения
Максимальные значения количества кликов, конверсий, показов или дохода, полученные в ходе эксперимента. Вычисляются путем экстраполяции до уровня, при котором на эталон или вариант приходится по 100 % аудитории.
Например, если у позиции 170 000 конверсий с долей аудитории 34 %, нормализованное значение для 100 % аудитории будет равно 500 000.
P-значение
Показатель, отражающий вероятность того, что различия между вариантами возникли случайно.
Используется при определении статистической значимости результатов и указывает, с какой вероятностью между эталоном и вариантом действительно есть разница в эффективности.
- Чем ниже p-значение, тем больше вероятность того, что различие в эффективности является достоверным.
- Высокое p-значение показывает, что результаты могли быть получены случайно и не могут считаться полезными.
Вариант
Позиция или заказ на размещение, которые отличаются от эталона значением одной переменной и используются для ее тестирования.
Как настроить эксперимент
- Выберите рекламодателя и нажмите Эксперименты в меню слева.
- На вкладке A/B-тестирование нажмите Создать.
- Выберите один из следующих вариантов:
- Размещение рекламы на нескольких биржах.
- YouTube и партнерские видеоресурсы.
- Укажите следующую информацию:
-
Название. Введите идентификатор эксперимента. Также при необходимости можно указать тестовую гипотезу.
-
Длительность тестирования. Даты начала и окончания.
-
Дата начала. Укажите, когда начнется эксперимент. Выбранный вами день должен быть позже текущей даты.
-
Дата окончания. Укажите, когда эксперимент закончится (необязательно). Если вы не зададите дату окончания, он будет проводиться бессрочно.
Для эксперимента желательно установить те же даты начала и окончания, что и для заказа на размещение или позиции, на которых он основан.
Пример:
- Если вы прекратите эксперимент до даты окончания позиции или заказа на размещение, то далее для показа рекламы всем доступным пользователям будет использоваться эталон.
Показатели в эксперименте рассчитываются исключительно на основе показов, выполненных после даты начала эксперимента. Однако если позиция была активна до или после дат проведения эксперимента, то количество конверсий в отчетах может отличаться.
-
-
Компоненты тестирования. Выберите тип объектов для сравнения: заказы на размещение или позиции.
-
В зависимости от типа эксперимента выберите по меньшей мере два объекта (кампании или заказы на размещение), которые будут сравниваться.
- Сравнить отдельные варианты. Выберите отдельные заказы на размещение, которые вы хотите включить в этот эксперимент.
- Если используется несколько заказов на размещение, можно настроить распределение аудитории. Так вы сможете контролировать распределение файлов cookie между заказами на размещение или позициями, участвующими в эксперименте.
- Чтобы указать контрольную группу для нескольких заказов на размещение, вы можете настроить один из них в качестве эталона.
- Сравнить группы. Выберите группы заказов на размещение, которые вы хотите включить в каждую группу этого эксперимента.
- Вы можете задать распределение аудитории, чтобы контролировать распределение файлов cookie между заказами на размещение или позициями, участвующими в эксперименте.
- Вы также можете определить контрольную группу, выбрав один из заказов на размещение в качестве эталона.
- Сравнить отдельные варианты. Выберите отдельные заказы на размещение, которые вы хотите включить в этот эксперимент.
-
-
Отслеживание
- Цель исследования. Выберите цель, на основе которой будут собираться данные для эксперимента:
- конверсии;
- клики;
- просмотры видео до конца;
- общая специальная ценность показа (при использовании специальных ставок).
- Доверительный интервал. Выберите 95 % (наиболее распространенное значение) или 90 %;
- Участники (только для экспериментов категории "Размещение рекламы на нескольких биржах"). По умолчанию заданы настройки, обеспечивающие максимальное количество участников эксперимента при помощи идентификаторов на уровне пользователя и случайной выборки.
- Вы можете исключить пользователей без идентификаторов, чтобы не учитывать трафик без сторонних идентификаторов и добиться чистоты эксперимента.Примечание. Исключение пользователей без идентификаторов может снизить достоверность результатов эксперимента из-за уменьшения числа участников.
- Вы можете исключить пользователей без идентификаторов, чтобы не учитывать трафик без сторонних идентификаторов и добиться чистоты эксперимента.
- Настройка исследования эффективности (только для необязательных экспериментов и экспериментов для YouTube и партнерских видеоресурсов).
- Установите флажок "Brand Lift".
- Выберите до трех показателей, которые будут измеряться. Требования к отслеживанию роста и информацию о том, допущены ли ваши группы эксперимента, можно найти на боковой панели слева. Подробнее о том, как настроить отслеживание показателей Brand Lift…
- Укажите следующую информацию об опросе:
- Название вашего бренда или товара.
- Названия 1–3 брендов или товаров конкурентов.
- Задайте следующие настройки опроса:
- Язык. Язык, на котором будет проводиться исследование.
- Тип объекта. Отрасль или область, к которой относится опрос.
- Нужное действие. Что должен сделать пользователь после просмотра вашего объявления.
- Цель исследования. Выберите цель, на основе которой будут собираться данные для эксперимента:
-
-
Нажмите Сохранить.
Оценка результатов эксперимента
- Выберите рекламодателя.
- В меню слева нажмите Эксперименты.
- На вкладке A/B-тестирование выберите нужное название эксперимента, чтобы просмотреть результаты эксперимента.
- Если вам нужно настроить исследование эффективности продвижения бренда в рамках эксперимента, нажмите Просмотреть отчет об эффективности продвижения бренда рядом с названием компонента тестирования и просмотрите результаты исследования.
-
На вкладке Результаты вы можете ознакомиться с информацией об эксперименте.
-
В разделе Конверсии: основная цель вы можете просмотреть сводку результатов (в том числе в виде графика), чтобы увидеть разницу между эталоном и вариантами, а также оценить рост.
- Показатель. Вы можете оценить разницу между эталоном и вариантами с учетом статистической значимости.
- Статус. Отражает статистическую значимость полученных результатов. Полученные данные считаются важными, если эксперимент показывает значительную разницу между эталоном и любым вариантом цели эксперимента.
- Даты проведения тестирования. Установленный вами период времени, в течение которого будет проходить эксперимент.
- Тип. Указывает на то, какие элементы выбраны для сравнения: заказы на размещение или позиции.
- Уровень достоверности. Отражает установленный для эксперимента уровень достоверности.
- Доверительный интервал. Если этот параметр включен, то для эксперимента устанавливается заданный уровень достоверности.
-
-
Вы можете настроить представление результатов следующими способами:
-
Выбрать эталон. По умолчанию на диаграмме эталон сравнивается с несколькими вариантами. В качестве эталона можно выбрать один из вариантов (в раскрывающемся списке Контрольное значение).
-
Выбрать модель атрибуции. Сделать это можно в раскрывающемся списке Модели атрибуции при просмотре результатов экспериментов, связанных с конверсиями.
-
-
При необходимости вы можете проводить два независимых исследования Brand Lift в качестве групп эксперимента. Результаты исследований Brand Lift будут показываться на вкладке Эксперименты при соблюдении следующих условий:
Исследования Brand Lift, созданные для заказов на размещение в рамках одного эксперимента, будут автоматически проводиться в режиме ускоренной оценки. Исследование Brand Lift будет нацелено на сбор нужного числа ответов в кратчайшие сроки и прекратится, как только эта цель будет достигнута.- В исследованиях Brand Lift и экспериментах указаны одинаковые даты.
- Типы опросов и выбранные показатели совпадают.
-
Например, если вы хотите сравнить две кампании, то можете запустить исследование Brand Lift для каждой из них и создать эксперимент с двумя группами – по одной на каждую кампанию. Результаты завершенного исследования Brand Lift можно просмотреть, даже если ещё не закончен эксперимент.
Просмотр различий в рамках эксперимента
Чтобы ознакомиться с различиями между группами, перейдите на вкладку Разница. На ней можно узнать, заключается ли единственное отличие в переменной, которой посвящено исследование. Чтобы при проведении эксперимента не возникали систематические ошибки и не появлялись некорректные результаты, устраните все отличия до его начала. Если варианты эксперимента включают больше одной позиции, система автоматически сопоставит сравнения на основе минимального количества наблюдаемых различий.
Инструмент "Разница" предназначен для показа различий в рамках контроля качества, его не получится использовать в экспериментах. Он позволяет сравнивать позиции и заказы на размещение в настоящий момент, а не во время проведения эксперимента. Инструмент покажет все изменения, произошедшие после проведения эксперимента (включая архивирование позиций), даже если они не повлияли на эксперимент.
Рекомендации
Ниже вы найдете несколько советов, которые помогут вам в проведении экспериментов.
Планирование и настройка
-
В рамках одного эксперимента тестируйте только одну переменную. Эталон и варианты должны совпадать во всем, кроме одной переменной.
-
При создании позиций или заказов на размещение для экспериментов копируйте их, а не настраивайте с нуля. Так вы обеспечите идентичность сравниваемых элементов (кроме тестируемой переменной).
-
Используйте при проведении экспериментов только новые позиции или заказы на размещение. Если позиция или заказ на размещение были активны до начала эксперимента, это может повлиять на подсчет конверсий.
-
Исключите внешние воздействия. Убедитесь, что позиции, не участвующие в эксперименте, не конкурируют за бюджеты позиций эксперимента. Если это возможно, используйте отдельный заказ на размещение для позиций, которые будут участвовать в эксперименте.
Также старайтесь не использовать вне эксперимента креативы, участвующие в эксперименте.
-
Установите достаточно высокое ограничение частоты показов. Если вы проводите эксперимент с заказами на размещение, убедитесь, что ограничение частоты показов кампании достаточно велико. Оно должно быть не меньше, чем сумма самого высокого ограничения частоты показов среди заказов, участвующих в эксперименте, и ограничений частоты показов всех заказов, которые не участвуют в нем.
Например, если у вас есть кампания с тремя заказами на размещение, но только два используются в эксперименте, то минимальное ограничение частоты показов кампании вычисляется так: наивысшее ограничение частоты показов двух заказов из эксперимента плюс ограничение частоты показов заказа, который не участвует в эксперименте. Итак, если ограничения частоты показов у двух заказов из эксперимента составляют 10 и 8, а у третьего – 5, то ограничение частоты показов кампании должно быть 15. Мы складываем 10 (наивысшее ограничение для заказов из эксперимента) и 5 (сумма всех ограничений для заказов кампании, не участвующих в эксперименте).
Этот же совет относится и к ограничению частоты показов заказов на размещение, если в эксперименте сравниваются позиции.
-
Планируйте бюджет и регулирование скорости. Бюджет каждой группы в эксперименте должен быть пропорционален распределению аудитории. Если вы делите бюджет непропорционально, то он становится одной из переменных эксперимента. Регулирование скорости тоже должно быть одинаковым, иначе скорость превратится в ещё одну переменную эксперимента. Этот совет относится не только к позициям из эксперимента, но и к другим позициям, не участвующим в эксперименте, но входящим в состав того же заказа на размещение. Их способность расходовать бюджет и регулировать скорость повлияет на то, как позиции из эксперимента будут покупать инвентарь и таким образом влиять на результаты.
-
При небольшом охвате данные могут оказаться недостоверными. Если вы ожидаете ограниченного охвата (например, когда покупаете инвентарь с узкой аудиторией), в экспериментах могут оказаться широкие доверительные интервалы, что способно затруднить оценку эффективности контрольных объектов.
-
Подготовьте все заранее. Перед началом эксперимента все креативы должны быть одобрены. Выделите на это дополнительное время.
Действия во время проведения эксперимента
-
Не приостанавливайте эксперимент. Если вам нужно приостановить кампанию и в то же время вы планируете продолжить эксперимент, приостановите все его группы, но не сам эксперимент. Затем, когда вы возобновите кампанию, активируйте все варианты одновременно.
Если вы завершите эксперимент, перезапустить его нельзя. Кроме того, все объекты из эксперимента станут показываться всем пользователям. -
Единообразно измените все, что необходимо. Настраивая заказы на размещение или позиции, которые участвуют в эксперименте, убедитесь, что вы дублируете внесенные изменения во все группы эксперимента. Это может потребоваться для того, чтобы удалить сайт, не подходящий для вашего бренда.
Примечания
- Эксперименты нельзя проводить на следующих типах инвентаря:
- Позиции, по умолчанию используемые в гарантированных позициях с алгоритмической продажей, или заказы на размещение с позициями, которые применяются по умолчанию.
- Инвентарь с быстрым резервированием.
- Эксперименты начинают действовать не раньше, чем через 24 ч. после того, как вы их создадите. В качестве даты начала эксперимента нельзя выбрать день его создания и следующий за ним день.
- Определенную позицию или заказ на размещение можно единовременно использовать только в одном активном эксперименте.
- После начала эксперимента нельзя изменить распределение аудитории.
- В настоящее время алгоритмы экспериментов не принимают во внимание типы устройств. Поэтому один и тот же пользователь может увидеть на телефоне креатив из экспериментальной группы, а на компьютере – из эталона.
- В отчетах об экспериментах и остальных типах отчетов количество зарегистрированных конверсий может отличаться. В частности, это касается показателей в таблицах. Это связано с тем, что показатели эксперимента рассчитываются только по показам, выполненным после его начала.
- Проводить повторные изменения в исследованиях эффективности, созданных в рамках A/B-тестирования, нельзя. Если вам требуется повторный сбор данных в исследовании Brand Lift, остановите эксперимент, удалите заказ на размещение из исследования и создайте новое исследование Brand Lift на вкладке "Исследования эффективности".
Часто задаваемые вопросы
В чем разница между таргетингом на сегменты аудитории в Менеджере кампаний 360 и экспериментами в Дисплее и Видео 360?
Таргетинг на сегменты аудитории в Менеджере кампаний 360 направлен на распределение трафика между креативами. В частности, с помощью этой функции вы можете разделить трафик кампаний в Менеджере кампаний 360 на несколько групп пользователей и показывать разные креативы для каждого сегмента.
Эксперименты в Дисплее и Видео 360 позволяют распределить трафик на уровне заказа на размещение или позиции и протестировать любые настройки или параметры таргетинга, а не только креативы.
Почему я не могу добавить в эксперимент определенную позицию или заказ на размещение?
Если какой-либо из этих элементов нельзя использовать в экспериментах, то он будет скрыт или система не позволит выбрать его во время настройки.
Из всплывающей подсказки вы можете узнать причину, по которой определенный заказ на размещение или позицию нельзя выбрать для эксперимента.
В чем разница между Google Оптимизацией и экспериментами в сервисе "Дисплей и Видео 360"?
С помощью Google Оптимизации вы можете сравнить разные сайты или целевые страницы, а эксперименты предназначены для сравнения различных методик размещения рекламы, например таргетинга, настроек и т. п.
Для проведения экспериментов в Дисплее и Видео 360 используется частотная модель, которая аналогична другим решениям для измерения эффективности рекламы, в то время как в Google Оптимизации применяется байесовская модель, которая лучше подходит для сравнения небольших выборок.