Как провести эксперимент, созданный вручную

В рамках эксперимента, созданного вручную, вы устанавливаете собственные критерии и расписание, а затем применяете их к определенной доле фактического трафика в сети, чтобы определить, как изменится доход. После запуска эксперимент добавляется на страницу "Эксперименты".

Чтобы посмотреть список всех активных экспериментов, созданных вручную, и доступных типов таких экспериментов, откройте раздел Оптимизация Эксперименты.

В вашей сети Менеджера рекламы может одновременно существовать до 100 активных экспериментов. К числу активных относятся эксперименты, которые выполняются, приостановлены или завершены и ожидают ваших дальнейших действий.

Как можно получать уведомления об экспериментах

Уведомления об экспериментах можно получать как по электронной почте, так и в аккаунте Менеджера рекламы. Выполните следующие действия:

1. Войдите в аккаунт Google Менеджера рекламы.
2. Чтобы получать уведомления по электронной почте, нажмите Оптимизация Эксперименты Подписаться на оповещения по электронной почте.
3. Чтобы получать уведомления в аккаунте Менеджера рекламы, нажмите на значок уведомлений значок настроек  Уведомления об экспериментах.

Общие сведения об экспериментах, созданных вручную

Чтобы запустить эксперимент, созданный вручную, выполните следующие действия:

1. Выберите тип эксперимента и используемые в нем критерии.
2. Настройте версию эксперимента и запустите ее на некоторое время.
3. Задайте условия автоматической приостановки эксперимента или отключите эту функцию.
4. Сравните количество показов в экспериментальной и контрольной группах, чтобы узнать, какая из них показала более высокую эффективность во время эксперимента.
5. Проведите новые эксперименты по мере необходимости.
6. Примите решение о том, хотите ли вы применять протестированные настройки в своей сети Менеджера рекламы.

Вы также можете запустить эксперимент на вкладке "Предложения по оптимизации".

Как запустить эксперимент

Выполните приведенные ниже инструкции.

Примечание. Последовательность действий для разных типов экспериментов незначительно отличается. Подробнее о том, как выбрать тип эксперимента, созданного вручную…  

1. Войдите в аккаунт Google Менеджера рекламы.
2. Нажмите Оптимизация Эксперименты.
3. На карточке эксперимента нужного типа нажмите Новый эксперимент.
4. Укажите название эксперимента, по которому его будет легко найти.
5. Задайте настройки, подходящие для выбранного вами типа эксперимента.
6. В разделе "Период эксперимента" укажите дату начала и дату окончания.
   • Дата начала. Для получения надежных результатов версия эксперимента должна длиться не менее 7 дней. Ее можно запустить сразу или в определенный день. Все версии экспериментов начинаются в 00:00 и заканчиваются в 23:59 по местному времени в запланированные даты. Данные обновляются ежедневно. Если в качестве даты начала выбран текущий день, то эксперимент начнется в течение часа.
   • Дата окончания. Максимальная продолжительность версии эксперимента – 31 день. По наступлении этой даты оцените результаты и решите, нужно ли применять соответствующий вариант оптимизации, запустить другую версию или прекратить эксперимент и оставить исходные настройки.
7. В разделе "Распределение трафика" выделите долю трафика для экспериментальной группы.
8. В разделе "Автоматически приостанавливать эксперимент" задайте до 10 условий автоматической приостановки, выбрав для каждого из них вариант С накоплением или Каждый день:
   • C накоплением. После того как будет потерян доход в размере суммы, которую вы укажете, мы приостановим эксперимент до окончания срока действия пробной версии.
   • Каждый день. После того как будет потерян доход в размере суммы, которую вы укажете, мы приостановим эксперимент до конца суток.
     Примечание. Соответствие заданным условиям проверяется раз в сутки. В первые сутки такая проверка не выполняется, чтобы эксперимент не был приостановлен до того, как будет собран необходимый объем данных. При этом используются только статистически значимые результаты. Это позволяет избежать ошибок выборки. Например, версия эксперимента может быть приостановлена, как только нижняя граница доверительного интервала, равного 95 %, достигнет порогового значения.
9. Нажмите Сохранить.

Рекомендации по проведению экспериментов, созданных вручную​

Иногда изменение настроек может повлиять на поведение покупателей и других участников рынка (например, могут измениться схемы совершения покупок). Чтобы эксперименты, созданные вручную, были эффективными и как можно точнее отражали влияние внесенных изменений на результаты, рекомендуем придерживаться приведенных ниже рекомендаций.

При использовании версий экспериментов увеличивайте долю трафика, задействованного в них

Эксперименты с небольшой долей трафика менее рискованны, но при этом они могут не привести к изменениям в поведении других участников рынка.

Когда эффективность достигнет приемлемого уровня для небольшой доли трафика, можно запустить вторую версию с теми же настройками, но для большей части трафика. Так вы сможете точнее спрогнозировать результаты применения тестируемых настроек ко всему трафику. Больше всего это касается цен: именно их изменение может повлиять на поведение покупателей в первую очередь.

Важно понимать, что результаты экспериментов с небольшой долей трафика могут быть ненадежными и неточно отражать изменения. Увеличивая долю трафика, задействованного в эксперименте, вы оказываете большее влияние на рыночное поведение и можете точнее оценить результаты таких изменений.

Как запустить более продолжительный эксперимент

Желательно проводить эксперименты в течение срока, достаточного для изменений в поведении и оценки результатов, вызванных этими изменениями. Чтобы изменения в поведении участников рынка отразились на доходе, зачастую требуется не менее семи дней.

Сравнивая отдельные настройки, не забывайте об общем доходе

Настройки эксперимента могут повлиять на поведение не только в группе вариантов, но и контрольной группе. Убедитесь, что ожидаемый доход в группе вариантов соответствует вашим прогнозам для всей сети.

Как выбрать тип эксперимента, созданного вручную

Выбранный тип эксперимента определяет долю задействованного в нем трафика и применяемые в нем критерии.

Разблокировка категорий

Если разблокировать те или иные категории объявлений, за ваш инвентарь сможет конкурировать больше рекламодателей и покупателей. Это поможет вам увеличить покрытие и повысить доход.

Критерии эксперимента

• Средства защиты. Выберите средство защиты, к которому будет применен этот эксперимент.
• Разблокировать следующие категории. Выберите категории, которые вы собираетесь разблокировать на время эксперимента.
• Период эксперимента. В окне выбора диапазона дат будет представлена самая ранняя доступная дата начала. Запланированные эксперименты будут запущены в день, который выбран как дата начала.
• Распределение трафика. Доля расчетного количества показов, которую вы хотите выделить экспериментальному стилю. Остальные показы получит исходный стиль. Например, если назначить 60 % показов экспериментальному стилю, то исходному достанутся оставшиеся 40 %. При анализе результатов обязательно учитывайте, какой процент показов был назначен тестируемому формату.

Единые правила ценообразования

Издатели могут вручную проводить эксперименты с едиными правилами ценообразования, изменяя минимальную цену, заданную в том или ином правиле. Можно назначить более высокую минимальную цену или снизить ее, а затем сравнить результаты.

Дублирующиеся правила ценообразования. С помощью экспериментов с едиными правилами ценообразования можно оценивать эффективность всех запросов объявлений, соответствующих критериям таргетинга для конкретного правила. Также можно оценивать эффективность запросов объявлений, таргетинг которых повторяется в других вариантах ценообразования. Благодаря этому в Менеджере рекламы можно учитывать изменения цен, из-за которых остаток показов и доход от них используются в других правилах или вариантах ценообразования.

Отображаемая цена за тысячу показов — это среднее значение для всех запросов объявлений, соответствующих критериям таргетинга. Поэтому в некоторых экспериментах с едиными правилами ценообразования цена за тысячу показов может быть ниже минимальной. При этом на большие объемы трафика, соответствующие критериям таргетинга, не распространяются выбранные варианты ценообразования. К ним будет применяться правило ценообразования с более низкой ценой.

Пример

• Правило ценообразования П1 действует для рекламного блока ВГД и содержит вторичное правило, которое относится к рекламодателю А123 с минимальной ценой 10 долл. США.
• Правило ценообразования П2 действует для рекламного блока ВГД и содержит вторичное правило, которое относится ко всем креативам с минимальной ценой 2 долл. США.

Если провести эксперимент с правилом П1, вероятно, в отчете будет указана эффективная цена за тысячу показов ниже 10 долл. США, так как минимальная цена 10 долл. США действует, только если рекламодатель А123 выиграл на аукционе. При этом учитывается весь трафик, которому были показаны объявления при помощи рекламного блока ВГД. Для таких показов устанавливается минимальная цена 2 долл. США, так как действует правило П2.

Критерии эксперимента

• Единое правило ценообразования. Выберите правило, которое определяет трафик, выделяемый для эксперимента.
• Варианты ценообразования. Выберите варианты, которые будут использоваться в ходе этого эксперимента.
• Экспериментальная цена. Цена, которую вы хотите применить к трафику в группе вариантов.
• Затронутые остаточные позиции. Расчетное количество остаточных позиций, на которых отразится эксперимент, если в нем будет задана минимальная цена, отличающаяся от исходной.
• Период эксперимента. В окне выбора диапазона дат отображается самая ранняя доступная дата начала. Запланированные эксперименты будут запущены в день, который выбран как дата начала.
• Распределение трафика. Доля расчетного количества показов, которую вы хотите выделить экспериментальному стилю в ходе эксперимента. Остальные показы получает исходный стиль. Например, если назначить 60 % показов экспериментальному стилю, то исходному достанутся оставшиеся 40 %. При анализе результатов обязательно учитывайте, какой процент показов был назначен тестируемому формату.

Нативный стиль объявления

Также можно провести эксперимент со стилем нативных объявлений непосредственно на вкладке "Выполнение".

Запустите A/B-тестирование, используя два набора стилей нативных объявлений с разными визуальными элементами и другими изменениями. Сравните результаты, чтобы понять, какие стили лучше подойдут для вашей сети.

Исходный или "контрольный" стиль сравнивается с новым или "экспериментальным". Изменяйте параметры экспериментального стиля, чтобы узнать, повысится ли его эффективность по сравнению с контрольным. Создав и запустив эксперимент, вы сможете проанализировать эффективность обоих стилей и выбрать лучший.

Эксперименты позволяют сравнивать только два нативных стиля в действующих местах размещения нативной рекламы. Сравнить баннер и нативное объявление в одном и том же месте размещения при помощи экспериментов нельзя.

Если в эксперименте контрольным является нативный стиль, который используется при показе как объявлений с алгоритмической продажей, так и обычных объявлений, любые изменения в объеме трафика отразятся только на объявлениях с резервированием.

Критерии эксперимента

• Нативный стиль. Выберите нативный стиль, у которого формат и критерий пригодности для сделки подходят для проведения эксперимента.
• Период эксперимента. В окне выбора диапазона дат отображается самая ранняя доступная дата начала. Запланированные эксперименты будут запущены в день, который выбран как дата начала.
• Распределение трафика. Доля расчетного количества показов, которую вы хотите выделить экспериментальному стилю в ходе эксперимента. Остальные показы получит исходный стиль. Например, если назначить 60% показов экспериментальному стилю, то исходному достанутся оставшиеся 40%. При анализе результатов обязательно учитывайте, какой процент показов был назначен тестируемому формату.
• Параметры таргетинга. Задайте настройки таргетинга для проведения эксперимента. Для успешного показа необходимо задать такой же таргетинг, как и в настройках позиции.

Форматы

Вы можете тестировать новые форматы объявлений, чтобы узнавать, как они будут влиять на ваш инвентарь. В настоящее время для тестирования доступны межстраничные объявления на сайтах и фиксированные объявления. Тестирование позволит вам понять, стоит ли тратить усилия на добавление нового формата.

Хотя вы и задаете параметры для эксперимента, но по его завершении вам все равно потребуется самостоятельно настроить межстраничные объявления на сайте или фиксированные объявления и организовать их размещение.

Критерии эксперимента

• Настройки формата. Выберите формат, для которого нужно провести эксперимент.
• Рекламный блок для эксперимента. Выберите рекламный блок для размещения объявлений. Его статистика будет показываться в отчете по эффективности в рамках эксперимента. Обратите внимание, что выбранный рекламный блок не используется для таргетинга, то есть объявления выбранного вами формата будут показываться по любому запросу, который соответствует заданным в эксперименте параметрам таргетинга. Мы рекомендуем создавать для экспериментов новые рекламные блоки.
• Таргетинг. Укажите, в каком регионе должны показываться объявления.
• Период эксперимента. В окне выбора диапазона дат отображается самая ранняя доступная дата начала. Запланированные эксперименты будут запущены в день, который выбран как дата начала.
• Распределение трафика. Доля расчетного количества показов, которую вы хотите выделить межстраничным объявлениям на сайте в ходе эксперимента. Оставшийся трафик будет распределен между другими типами объявлений. Например, если выделить 60 % показов межстраничным объявлениям, то другим форматам достанутся оставшиеся 40 %. При анализе результатов обязательно учитывайте, какой процент показов был назначен тестируемому формату.

Группы доходности

Включив новую группу доходности, вы сможете определить значимость возросшего спроса на ваш инвентарь.

Критерии эксперимента

• В настройках групп доходности можно выбрать группу, которая будет участвовать в эксперименте. Чтобы группу доходности можно было использовать в эксперименте, она должна иметь статус "Неактивно" (эксперимент проводится после ее включения). Когда вы начнете использовать ее в этих целях, группе будет назначен статус "Проводится эксперимент". Когда вы завершите эксперимент, подтвердив или отклонив его результаты, статус группы доходности изменится на "Активно" или "Неактивно" соответственно.
• Период эксперимента. В окне выбора диапазона дат показывается самая ранняя доступная дата начала. Запланированные эксперименты будут запущены в день, который выбран датой начала.
• Распределение трафика. Доля количества показов, которую вы хотите выделить группе доходности в ходе эксперимента. Группа доходности будет действовать только для показов, на которые настроен ее таргетинг. Для остальных показов группа доходности будет неактивной. Например, если выделить группе, участвующей в эксперименте, 60 % показов, она никак не повлияет на оставшиеся 40 %. При анализе результатов обязательно учитывайте, какой процент показов был назначен экспериментальной группе объявлений.