Юрий дорн
Оптимизация и приложения
Акт второй

»
О курсе

Оптимизация – это чрезвычайно богатый на приложения раздел математики.

В экономике и бизнесе существенная часть используемых моделей для принятия решений формализируются именно в виде оптимизационных моделей.

В анализе данных и статистике процесс оценки параметров статистической модели или же, в терминологии ML, "обучения" модели сводится к решению задачи оптимизации. При этом скорость решения напрямую зависит от используемых методов. В стандартных курсах по машинному обучению обычно говорят о градиентном спуске или его стохастическом аналоге, в более продвинутых упоминаются быстрые градиентные методы, однако это лишь небольшая часть инструментария, который может дать современная оптимизация.

Наши курсы в той или иной степени охватят все эти области.


Часть 1:

Основной курс по оптимизации, основанный на материалах курса "Выпуклый анализ и оптимизация", который читается в Школе анализа данных Яндекс.

Первые лекции курса посвящены выпуклому анализу и выпуклой оптимизации, что соответствует материалу первых глав книги "Convex Optimization" S.Boyd & L. Vanderberghe.

Вторая часть курса является сравнительно глубоким введением в современные (численные) методы выпуклой оптимизации.


Часть 2:

Это продолжение Части 1. Фокус этого курса приходится на оптимизационное моделирование, включающее в том или ином виде неопределенность.

К данному разделу относятся как достаточно хорошо изученная и нашедшая бесконечное количество применений стохастическая оптимизация, так и сравнительно новые и активно развивающиеся подходы: робастная оптимизация и онлайн-оптимизация.

Как и предыдущая часть курса, в этой мы стараемся держать баланс между теорией, приложениями и алгоритмами.


»
Команда курса
Юрий Дорн
Лектор
Александр Катруца
Семинарист
Григорий Малиновский
Ассистент

»
Программа курса
Вводная часть
  • Бандиты и онлайн-оптимизация
  • Примеры приложений
Стохастические бандиты
  • Модель стохастических бандитов
  • Примеры приложений
  • Регрет
  • Простейшие алгоритмы
Нижние оценки
  • Зачем?
  • Простейшие примеры и связь с теорией информации
  • Нижние оценки, зависящие от инстанса
Стохастические бандиты с конечным числом ручек
  • Алгоритм UCB и принцип оптимизма
  • Асимптотически оптимальный UCB
  • Алгоритм MOSS
Сопротивляющиеся бандиты
  • Модель и приложения
  • Алгоритм EXP-3
Липшицевы бандиты
  • Бандиты с континуумом ручек
  • Примеры приложений
  • Липшицевы бандиты
  • Адаптивная дискретизаци
Контекстные бандиты
  • Предсказание с помощью экспертов
  • Алгоритм Exp4
Стохастические линейные бандиты
  • Стохастические контекстные бандиты
  • Стохастические линейные бандиты
Байесовские бандиты
  • Байесовские бандиты
  • Алгоритмы для байесовских бандитов
  • Thompson sampling
Алгоритм следования за зашумленным лидером и Зеркальный спуск
Наконец-то онлайн-оптимизация и алгоритмы!
Бандиты и игры
  • Минимаксная теорема
  • Игры предсказаний
  • Еще больше про экспертов и предсказателей
Комбинаторные бандиты
  • Модель и предположения
  • Алгоритмы