Курс
Генеративные модели
Роман Исаченко
Курс посвящен современным методам построения генеративных порождающих моделей.
Рассматриваются следующие классы генеративных моделей:
⁃ авторегрессионные модели,
⁃ модели скрытых переменных,
⁃ модели нормализационных потоков,
⁃ состязательные модели,
⁃ диффузионные модели.
Особое внимание уделяется свойствам различных классов генеративных моделей, их взаимосвязям, теоретическим предпосылкам и методам оценивания качества.
Целью курса является знакомство слушателя с широко применяемыми продвинутыми методами глубокого обучения.
Курс сопровождается практическими заданиями, позволяющими на практике понять принципы устройства рассматриваемых моделей.
Лектор
Программа курса
1
Постановка задачи. Минимизация дивергенций. Авторегрессионное моделирование.
2
Авторегрессионные модели (WaveNet, PixelCNN, PixelCNN++). Основы байесовского вывода. Модели скрытых переменных.
3
Вариационная нижняя оценка (ELBO). EM-алгоритм, амортизированный вывод. Градиент ELBO, репараметризация.
4
Вариационный автокодировщик (VAE). Коллапс апостериорного распределения VAE. Техники ослабления декодера. Выборка по значимости для ELBO.
5
Модели нормализующих потоков. Прямая и обратная KL дивергенции. Линейные потоки (Glow). Остаточные потоки (Planar/Sylvester flows).
6
Авторегрессионные потоки (MAF/IAF/RealNVP).
7
Равномерная и вариационная деквантизации. Теорема об операции над ELBO. Оптимальное априорное распределение в VAE. Потоки в апостериорном и априорном распределении VAE.
8
Задача распутывания представлений (beta-VAE, DIP-VAE). Неявные генеративные модели без оценки правдоподобия. Модель генеративных состязательных сетей (GAN).
9
Проблемы обучения GAN моделей (затухающие градиенты, коллапс мод). KL дивергенция vs JS дивергенция. VAE с неявным энкодером. Топологические особенности обучения GAN моделей. Расстояние Вассерштейна.
10
Дуальность Канторовича-Рубинштейна. Wasserstein GAN. GAN с градиентным штрафом. GAN со спектральной нормализацией. Вариационная минимизация f-дивергенций.
11
Оценивание качества неявных моделей (Inception score, FID, Precision-Recall, truncation trick). Разбор конкретных GAN моделей (Self-attention GAN, BigGAN, Progressive Growing GAN, StyleGAN).
12
VAE с дискретным скрытым пространством. Векторная квантизация, сквозной градиент (VQ-VAE). Гумбель-софтмакс трюк (DALL-E). Нейронные дифференциальные уравнения.
13
Непрерывные во времени нормализационные потоки. Несмещенная оценка следа матрицы. Уравнение Колмогорова-Фоккера-Планка и динамика Ланжевена.
14
Модели оценки score функции (NCSM). Модель диффузионного процесса. Диффузионная генеративная модель (DDPM).
Aimasters 2023 © All Rights Reserved. aimasters.msu@gmail.com Персональные данные опубликованы в соответствии со ст.10.1 Федерального закона РФ № 152-ФЗ от 27 июля 2006г. «О персональных данных» с согласия субъекта. Какая-либо иная обработка, в том числе, дальнейшее распространение персональных данных третьими лицами запрещена.
Мы собираем данные Cookies. Оставаясь на сайте, вы соглашаетесь с нашей политикой сбора и обработки персональных данных.
ок