Курс
Генеративные модели
Роман Исаченко
Курс посвящен современным методам построения генеративных порождающих моделей.
Рассматриваются следующие классы генеративных моделей:
⁃ авторегрессионные модели,
⁃ модели скрытых переменных,
⁃ модели нормализационных потоков,
⁃ состязательные модели,
⁃ диффузионные модели.
Особое внимание уделяется свойствам различных классов генеративных моделей, их взаимосвязям, теоретическим предпосылкам и методам оценивания качества.
Целью курса является знакомство слушателя с широко применяемыми продвинутыми методами глубокого обучения.
Курс сопровождается практическими заданиями, позволяющими на практике понять принципы устройства рассматриваемых моделей.
Лектор
Программа курса
1
Введение в генеративное моделирование. Постановка задачи. Минимизация дивергенций. Авторегрессионное моделирование (PixelCNN).
2
Модели нормализующих потоков. Прямая и обратная KL дивергенции. Линейные и авторегрессионные нормализующие потоки.
3
RealNVP. Непрерывные во времени нормализующие потоки. Нейронные дифференциальные уравнения и метод сопряженных функций.
4
Основы байесовского вывода. Модели скрытых переменных. Вариационная нижняя оценка (ELBO). EM-алгоритм, амортизированный вывод.
5
Градиент ELBO, репараметризация. Вариационный автокодировщик (VAE). Деквантизация данных для непрерывной модели. Сравнение нормализующих потоков с VAE. Теорема об операции над ELBO. Оптимальное априорное распределение в VAE.
6
Потоки в априорном распределении VAE. VAE с дискретным скрытым пространством. Векторная квантизация, сквозной градиент (VQ-VAE). Гумбель-софтмакс трюк (DALL-E).
7
Неявные генеративные модели без оценки правдоподобия. Модель генеративных состязательных сетей (GAN). KL дивергенция vs JS дивергенция. VAE с неявным энкодером. Топологические особенности обучения GAN моделей. Расстояние Вассерштейна.
8
Дуальность Канторовича-Рубинштейна. Wasserstein GAN. GAN с градиентным штрафом. Вариационная минимизация f-дивергенций.
9
Оценивание качества неявных моделей (FID, MMD, Precision-Recall, truncation trick). Динамика Ланжевена и функция скора.
10) Техника оценки функции скора (denoising score matching). Модель NCSN.
10) Техника оценки функции скора (denoising score matching). Модель NCSN.
10
Техника оценки функции скора (denoising score matching). Модель NCSN.
11
Прямой и обратный процессы гауссовской диффузии. Вариационная нижняя оценка для диффузионной модели.
12
Модель DDPM. Cвязь между DDPM и NCSN. Техники условной генерации: classifier guidance и classifier-free guidance.
13
Введение в стохастические дифференциальные уравнения. Уравнение Колмогорова-Фоккера-Планка. Стохастические дифференциальные уравнения для моделей диффузии.
14
Обратное стохастическое дифференциальное уравнение. Нормализующий поток для диффузии. Модель DDIM.