Александр Сахнов
A/B-тестирование
»
О курсе
Каждый из нас регулярно принимает какие-либо решения. Часто оптимальное решение не очевидно, а цена ошибки велика. АБ тестирование - наиболее точный способ выбрать лучший вариант.
С помощью АБ тестирования проверяют эффективность новых лекарств. Также оно широко распространено в бизнесе. Компании, применяющие АБ тестирование принимают больше верных решений, что позволяет им опережать конкурентов.
В основе АБ тестирования лежит математическая статистика. Она предоставляет математически обоснованные критерии для проверки гипотез. Так что мы можем быть уверены в правильности полученных результатов.
В нашем курсе вы научитесь применять АБ тестирование для решения практических задач. Мы расскажем о всех тонкостях АБ тестирования и познакомим с современными техниками повышения чувствительности тестов.
С помощью АБ тестирования проверяют эффективность новых лекарств. Также оно широко распространено в бизнесе. Компании, применяющие АБ тестирование принимают больше верных решений, что позволяет им опережать конкурентов.
В основе АБ тестирования лежит математическая статистика. Она предоставляет математически обоснованные критерии для проверки гипотез. Так что мы можем быть уверены в правильности полученных результатов.
В нашем курсе вы научитесь применять АБ тестирование для решения практических задач. Мы расскажем о всех тонкостях АБ тестирования и познакомим с современными техниками повышения чувствительности тестов.
»
Команда курса
Александр Сахнов
Лектор
Николай Назаров
Семинарист
»
Программа
1. Введение: основы статистики
Точечное оценивание, ОМП, экспоненциальное семейство распределений, ЦПТ и ЗБЧ, доверительные интервалы, plug-in оценивание.
2. Основы статистики и статистические критерии
Статистическая гипотеза, уровень значимости и мощность теста, критическая область. Тест Стьюдента, тест Манна-Уитни, критерий Колмогорова, критерий отношения правдоподобия. Бутстреп.
3. Метрики в А/B-тестировании
Целевая метрика. Иерархия метрик. Свойства метрик. Вспомогательные и контрольные метрики.
4. MDE, sample size
Минимальный детектируемый эффект. Необходимый размер групп для проведения эксперимента. Повышения чувствительности тестов.
5. Стратификация
Популяционное среднее, стратифицированное среднее. Стратифицированное семплирование. Пост стратификация.
6. CUPED
Controlled-experiment Using Pre-Experiment Data.
7. Линеаризация
Ratio метрики. Дельта метод. Линеаризация.
8. Множественное тестирование
Множественная проверка гипотез. Поправка Бонферрони, метод Холма, метод Бенджамини-Хохберга. Параллельный запуск экспериментов.
9. Последовательное тестирование
Peeking problem. Критерий Вальда.
10. Auto-ML, полный пайплайн
Внедрение AB тестирования в крупных компаниях. Автоматизация проведения экспериментов. Canary deployment. Парадокс Симсона.
»
Персональные данные опубликованы в соответствии со ст.10.1 Федерального закона РФ № 152-ФЗ от 27 июля 2006г. «О персональных данных» с согласия субъекта. Какая-либо иная обработка, в том числе, дальнейшее распространение персональных данных третьими лицами запрещена.