Павел Северилов
DL Audio
»
О курсе
Основная задача курса – познакомить с современными методами обработки, распознавания, генерации речи и смежными задачами обработки аудиоданных. Будет рассматриваться историческое развитие моделей глубинного обучения, включая самые недавние исследования в каждой из областей обработки речи. Также на курсе мы затронем модели, которые используют в работе крупнейшие технические компании.
»
Команда курса
- Северилов ПавелЛектор
- Князев ДаниэльСеминарист
»
Программа курса
- Задачи обработки и генерации речи: история развития подходов, постановки задач
- Внедрение подхода глубинного обучения в решение задач с аудио
- Последние значимые разработки в области
- Звук: типы, характеристики, теорема Найквиста
- Спектрограммы: преобразование Фурье, Short-time преобразование Фурье, Mel спектрограммы
- ASR: постановка задачи, метрики
- CTC: алгоритм, проблемы, лосс функция, свойства, beam search
- Listen, Attend and Spell (LAS)
- RNN-T: архитектура модели, inference модели, процесс обучения, преимущества над CTC и LAS
- Языковые модели для задачи ASR: мотивация, подходы
- Byte pair encoding (BPE): мотивация, алгоритм
- Whisper
- Метрики, простейшие DNN/CNN-based модели
- Модели KWS на основе механизма внимания
- Субспектральная нормализация
- Проблемы реализации KWS на практике и их решения
- Пайплайн решения задачи, метрики
- Использование идей механизма внимания в задаче TTS
- Современные подходы в решении задачи синтеза речи: DeepVoice, FastSpeech, FastSpeech 2, AdaSpeech
- Wavenet: causal+dilated свертка, обуславливание в модели, решение проблемы большого числа таймстемпов для предсказания
- Parallel WaveGAN: архитектура, лосс
- DiffWave: диффузионные процессы, обучение модели, сэмплирование из модели,
- AutoVC
- ConVoice
- CycleGAN-VC
- StarGAN-VC
- NVC
- Применение автоэнкодеров
- Jukebox
- PerceiverAR
- AudioLM, MusicLM
- DiffSound, AudioGen
- Метрики
- SEGAN
- HiFi-GAN
- Авторегрессионные модели (APC)
- Сиамские модели (BYOL, SimSiam)
- InfoNCE, Contrastive лосс
- CPC
»
Персональные данные опубликованы в соответствии со ст.10.1 Федерального закона РФ № 152-ФЗ от 27 июля 2006г. «О персональных данных» с согласия субъекта. Какая-либо иная обработка, в том числе, дальнейшее распространение персональных данных третьими лицами запрещена.