Теория информации - это дисциплина, изучающая фундаментальные количественные свойства информации. В рамках курса даются ответы на такие вопросы, как, например: что такое информация и как ее можно количественно оценить? Какова максимальная скорость сжатия данных и какова максимальная скорость передачи данных через зашумленный канал?
В основе курса лежит замечательная теория Клода Шеннона, в которой рассматриваются вышеуказанные фундаментальные вопросы теории информации. Также будут рассмотрены методы кодирования информации, позволяющие достичь фундаментальных ограничений, постулируемых теорией Шеннона. Наконец, мы также продемонстрируем применение теории информации в других областях, включая статистику (проверку и оценку гипотез) и статистические выводы.
»
Команда курса
Федор Иванов
Лектор
»
Программа курса
Лекция 1: Введение
Меры количества информации
Кодирование источника
Кодирование канала передачи информации
Свойства непрерывных каналов и источников информации
Поляризация каналов
Введение в статистическую теорию принятия решений
Проверка статистических гипотез
Линейная регрессия. Экспоненциальные семейства распределений и обобщённые линейные модели. Парадоксы регрессии. Метод кросс-проверки. Критерий Акаике. Вейвлеты.