С помощью экспериментов можно проверять, насколько эффективным будет то или иное изменение в кампании для создания спроса. Это позволяет оценить результат изменения до его применения в кампании.
Ниже рассказывается, как работают эксперименты в кампаниях для создания спроса. Если вы готовы создать эксперимент, ознакомьтесь с инструкциями.
Содержание
- Подготовка
- Особенности A/B-экспериментов в кампаниях для создания спроса
- Как настроить собственный эксперимент и эксперимент для A/B-тестирования объектов
- Рекомендации
Подготовка
- Для проведения эксперимента понадобятся минимум две кампании для создания спроса. Они должны быть готовы к запуску, но не запущены.
- Выберите кампании, которые различаются только одной переменной – это позволит лучше понять результаты эксперимента и сделать выводы.
- Все изменения настроек кампании нужно выполнить до сохранения эксперимента.
Примечание. Теперь поддерживается сценарий A/B-тестирования, в котором сравниваются кампании для создания спроса с фидом товаров и без него.
Особенности A/B-экспериментов в кампаниях для создания спроса
- Кампании-эксперименты для создания спроса проводятся на всём доступном инвентаре – в рекомендациях, Gmail и на YouTube.
- Вы можете протестировать любые варианты графических и видеообъявлений.
- Для экспериментов доступны креативы, аудитория, фид товаров и назначение ставок. В настоящее время мы не рекомендуем использовать бюджет как переменную для тестирования.
- Чтобы запустить эксперимент, создайте новую кампанию с теми же датами начала и окончания. В экспериментах можно использовать только кампанию для создания спроса.
Важно! Функция синхронизации A/B-экспериментов не обновляет бюджеты кампаний для создания спроса.
Как настроить собственный эксперимент и эксперимент для A/B-тестирования объектов
Как настроить собственный эксперимент
- Перейдите в раздел Эксперименты в меню "Кампания"
.
- Вверху таблицы "Все эксперименты" нажмите кнопку со значком плюса
и выберите Экспериментальная кампания для создания спроса.
- Если вы тестируете креатив и это единственная переменная в эксперименте, выберите вариант "Объекты A/B-тестирования" и перейдите в раздел Настройка эксперимента "Рост эффективности за счет объектов".
- Если вы тестируете аудитории, стратегии назначения ставок, форматы или креативы в рамках эксперимента с более чем двумя группами, выберите вариант "Собственные эксперименты".
- Отметьте ярлыками группы эксперимента. По умолчанию в эксперименте две группы, но всего их можно добавить до 10.
- В поле "Доля трафика" укажите, как нужно разделить трафик между группами. Мы рекомендуем задать значение 50 % – так вам будет удобнее всего сравнивать результаты исходной и экспериментальной кампаний.
- Назначьте кампании в каждую группу эксперимента. Кампания не может находиться в нескольких группах эксперимента одновременно, но в группе может быть несколько кампаний.
- Выберите основной показатель эффективности, чтобы оценить результат эксперимента.
- Доступны следующие показатели: CTR, коэффициент конверсии, цена за конверсию и цена за клик.
- Введите название и описание эксперимента. Название не должно совпадать с названиями кампаний и других экспериментов.
- Нажмите кнопку Сохранить, чтобы завершить создание эксперимента. Теперь эксперимент готов к запуску.
.
и выберите Экспериментальная кампания для создания спроса.
Как настроить эксперимент для A/B-тестирования объектов
- Перейдите в раздел Эксперименты в меню "Кампания"
- Вверху таблицы "Все эксперименты" нажмите кнопку со значком плюса
- Если вы тестируете креатив и это единственная переменная в эксперименте, выберите вариант "Объекты A/B-тестирования".
- Если вы тестируете аудитории, стратегии назначения ставок, форматы или креативы в рамках эксперимента с более чем двумя группами, выберите вариант "Собственные эксперименты" и перейдите в раздел Как настроить собственный эксперимент.
- Выберите нужный показатель эффективности в раскрывающемся списке:
- средняя цена за клик ("Сред. цена за клик");
- цена за конверсию ("Цена/конв.");
- коэффициент конверсии ("Коэфф. конверсии");
- CTR.
- Нажмите Выбрать контрольную кампанию и выберите нужную кампанию из списка.
- Это может быть как уже активная, так и новая кампания.
- Нажмите Создать экспериментальную кампанию.
- Контрольная кампания будет скопирована с тем же дневным бюджетом.
- На карточке "Объявление" нажмите +Добавить видео и выберите видео, которые нужно добавить в экспериментальную группу, из библиотеки объектов.
- Введите название и описание эксперимента. Название не должно совпадать с названиями кампаний и других экспериментов.
- Нажмите Сохранить.
Система автоматически применит к экспериментальной кампании все изменения, внесенные в контрольную, кроме корректировок бюджета. Например, если отключить оптимизацию видео или включить оптимизированный таргетинг в контрольной кампании, те же настройки будут применены в экспериментальной кампании. При включении оптимизации новые видео создаются не всегда. Подробнее об оптимизации видео…
Как оценить результаты эксперимента
Во время проведения эксперимента можно оценивать и сравнивать его результаты с исходной кампанией. При желании эксперимент можно завершить раньше. Отчет об эксперименте содержит три компонента:
- Раскрывающийся список уровня достоверности: выберите уровень достоверности результатов, которые вы хотите просматривать. Выбор влияет и на карточку сверху, и на таблицу отчета. Чем ниже уровень достоверности, тем быстрее вы получите результаты. При более высоком значении результатов придется ждать дольше, но их достоверность будет выше:
- 70 % (по умолчанию) – общие результаты, которые соответствуют самому низкому уровню достоверности измерения роста.
- 80 % – общие результаты. Среднее значение между скоростью получения данных и их достоверностью.
- 95 % – точные результаты. Вы получите достоверную информацию, на основе которой можно принимать важные решения.
- Карточка сверху. На ней можно посмотреть результат эксперимента для выбранного показателя успеха. По указанному на ней статусу можно определить следующую полезную информацию:
- Сбор данных – недостаточно данных, чтобы начать рассчитывать результаты. В случае связанных с конверсиями показателей нужно собрать не менее 100 точек данных, чтобы начать получать результаты.
- Похожая эффективность – значительной разницы между разными группами эксперимента на выбранном уровне достоверности нет. Вы можете подождать, чтобы узнать, станет ли разница значительнее при большем количестве точек данных.
- Результаты в одной из групп лучше – существует значительная разница между результатами в разных группах на выбранном уровне достоверности.
- Таблица отчета. В ней приведены более подробные результаты для показателя успеха и всех других доступных показателей. В столбцах будет информация о контрольной и экспериментальной группе, статусе эффективности групп и общих показателях эффективности.
Как завершить эксперимент
После получения результатов завершите эксперимент, прежде чем вносить изменения в исходную кампанию. Чтобы завершить эксперимент, откройте страницу "Эксперименты" наведите указатель на него и нажмите Завершить эксперимент.
Если вы не завершите эксперимент, активные кампании в нем могут и дальше показываться для ограниченного трафика, даже если кампании в другой группе были приостановлены.
Рекомендации
- Вы используете стратегии назначения ставок на основе конверсий? Чтобы можно было просматривать результаты экспериментов в кампаниях для создания спроса, в каждой группе должно набраться не менее 50 конверсий. Для этого мы рекомендуем использовать стратегию назначения ставок "Целевая цена за конверсию" или "Максимум конверсий" с оптимизацией по конверсиям, которые проще получить, например "Просмотр страницы" или "Добавление в корзину".
- Создавайте эксперименты для кампаний, в которых варьируется только одна переменная.
- Например, это могут быть кампании с разными креативами одного формата и с таргетингом на одну и ту же аудиторию (переменная креатива варьируется, а переменные формата и аудитории остаются постоянными).
- Меняйте настройки исходя из результата. Например, получив статистически значимые результаты в одной из групп эксперимента, вы можете перенести в нее весь бюджет и приостановить остальные.
- Опирайтесь на знания, полученные прежде. Допустим, вы выяснили, что создание специальных видеообъектов для разных сегментов аудитории приносит лучшие результаты, чем показ одного и того же объявления всем пользователям. Учитывайте это при разработке видеообъектов в дальнейшем.
- На основе статистически незначимых результатов также можно делать выводы. Если в эксперименте не оказалось лучшего варианта, это может означать, что тестируемые версии креатива недостаточно разные. Вы можете протестировать другие типы объектов или вариант с более заметными отличиями.
