Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню
true

Обзор

Часто задаваемые вопросы (многорукий бандит)

Всегда ли бандит находит оптимальную руку?

Используемый нами алгоритм многорукого бандита позволяет гарантированно найти оптимальную руку, если эксперимент будет проходить вечно [3] [4]. Однако это невозможно, поэтому нельзя дать полную гарантию того, что наиболее эффективная рука будет найдена. Ни один статистический метод не позволяет найти ответ, точный на 100%, и многорукий бандит не исключение. Именно поэтому мы ограничиваем продолжительность эксперимента тремя месяцами. Если за это время вы не нашли оптимальный вариант, значит его вообще вряд ли можно найти. Попробуйте внести другие усовершенствования на свои страницы.

Всегда ли бандит работает быстрее, чем стандартный метод?

Бандит обычно дает результаты гораздо быстрее, чем классическое тестирование, с меньшими затратами и с такой же статистической достоверностью, но в исключительных случаях эксперимент может длиться дольше.

С каким типом экспериментов многорукий бандит справляется особенно хорошо (или плохо) по сравнению со стандартным тестированием?

Многорукий бандит имеет явное преимущество перед классическими испытаниями в сложных экспериментах, где результат действительно можно найти [1]. Если один из ваших вариантов существенно эффективнее других, оптимальная рука будет найдена очень быстро. Если один или несколько вариантов недостаточно эффективны, они очень быстро выйдут из гонки, поэтому эксперимент сможет сосредоточиться на поиске лучшей руки.

Худший случай для бандита – это эксперимент с использованием двух рук одинаковой эффективности. В этом случае оптимальный результат удастся получить, если руки будут накапливать наблюдения до конца эксперимента. В среднем алгоритм работает именно так, но в любом эксперименте одна рука будет накапливать наблюдения быстрее из чистой случайности.

Впрочем, эксперименты обычно проводят для того, чтобы улучшить уже существующую страницу, поэтому наихудший сценарий, предполагаемый классическими тестами, здесь маловероятен.

Что произойдет, если оптимальной руке не повезет в начале? Сможет ли она восстановиться?

Даже если результативность руки была чрезмерно низкой в начале эксперимента, у нее есть шансы на восстановление. Это могло произойти некорректно по двум причинам: рука была нехарактерно плохой либо другая рука проявила себя слишком хорошо (или и то, и другое). Если случайный успех достался неудачной руке, она начнет накапливать больше наблюдений, и мы узнаем, что она была не так хороша, как мы думали. В результате ее вес уменьшится, а для других рук он увеличится.

Являются ли результаты бандита статистически достоверными?

Да. Система ежедневно анализирует результаты эксперимента, используя байесовский вывод, который является другим выражением статистической достоверности по сравнению со стандартным методом. Классический тест начинается с выдвижения нулевой гипотезы, например такой: "Все предложенные варианты одинаково эффективны". После этого собираются экспериментальные данные, подтверждающие или опровергающие ее. Если нулевую гипотезу удается опровергнуть, значит установлен статистически значимый результат.

Статистическая значимость соответствует вероятности совершения ошибки первого рода. В контексте оптимизации сайтов ошибка первого рода означает выбор нового варианта, который не отличается по эффективности от исходного. Вы, конечно, не хотите совершить ошибку первого рода (как и любую другую), но в данном случае она обойдется дешевле, чем ошибка второго рода. Для нас она означает невозможность переключения на другую, более эффективную руку. Это затратно, поскольку подразумевает потерю конверсий.

Байесовское обновление задает вопрос: "Какова вероятность того, что это лучшая рука, учитывая то, что я знаю сейчас?" Проверка гипотезы спрашивает: "Какова вероятность того, что я получу такой результат, если все руки будут равны?" Оба вопроса сформулированы правильно, но первый из них более понятен большинству. Кроме того, в нем соблюдается естественный баланс между ошибками первого и второго рода за счет использования информации, полученной в ходе эксперимента.

В случае классической проверки гипотез для анализа данных необходимо определенное число наблюдений, поскольку на вопрос о вероятности ответить достаточно сложно. Если в вашем эксперименте есть неэффективная рука, тогда стоимость неиспользования лучшей альтернативы в классической схеме проверки слишком высока. Так что если оба метода являются достоверными, разумнее использовать тот, который сэкономит ваше время и деньги, и отказаться от сложного, дорогого и слишком медлительного.

Была ли эта статья полезна?
Как можно улучшить эту статью?