Курс посвящен современным методам построения генеративных порождающих моделей.
Рассматриваются следующие классы генеративных моделей: ⁃ авторегрессионные модели, ⁃ модели скрытых переменных, ⁃ модели нормализационных потоков, ⁃ состязательные модели, ⁃ диффузионные модели.
Особое внимание уделяется свойствам различных классов генеративных моделей, их взаимосвязям, теоретическим предпосылкам и методам оценивания качества. Целью курса является знакомство слушателя с широко применяемыми продвинутыми методами глубокого обучения. Курс сопровождается практическими заданиями, позволяющими на практике понять принципы устройства рассматриваемых моделей.
Авторегрессионные модели (WaveNet, PixelCNN, PixelCNN++). Основы байесовского вывода. Модели скрытых переменных.
Лекция 3
Вариационная нижняя оценка (ELBO). EM-алгоритм, амортизированный вывод. Градиент ELBO, репараметризация.
Лекция 4
Вариационный автокодировщик (VAE). Коллапс апостериорного распределения VAE. Техники ослабления декодера. Выборка по значимости для ELBO.
Лекция 5
Модели нормализующих потоков. Прямая и обратная KL дивергенции. Линейные потоки (Glow). Остаточные потоки (Planar/Sylvester flows).
Лекция 6
Авторегрессионные потоки (MAF/IAF/RealNVP).
Лекция 7
Равномерная и вариационная деквантизации. Теорема об операции над ELBO. Оптимальное априорное распределение в VAE. Потоки в апостериорном и априорном распределении VAE.
Лекция 8
Задача распутывания представлений (beta-VAE, DIP-VAE). Неявные генеративные модели без оценки правдоподобия. Модель генеративных состязательных сетей (GAN).
Лекция 9
Проблемы обучения GAN моделей (затухающие градиенты, коллапс мод). KL дивергенция vs JS дивергенция. VAE с неявным энкодером. Топологические особенности обучения GAN моделей. Расстояние Вассерштейна.
Лекция 10
Дуальность Канторовича-Рубинштейна. Wasserstein GAN. GAN с градиентным штрафом. GAN со спектральной нормализацией. Вариационная минимизация f-дивергенций.
Лекция 11
Оценивание качества неявных моделей (Inception score, FID, Precision-Recall, truncation trick). Разбор конкретных GAN моделей (Self-attention GAN, BigGAN, Progressive Growing GAN, StyleGAN).