Проблема обобщения
Переобучение
Недообучение
Сложность алгоритмов
Смещение и разброс
Способы борьбы с переобучением

Функции ошибки в задаче регрессии: средний модуль отклонения MAE(MAD), средний квадрат отклонения MSE, его производные: RMSE, коэффициент детерминации R2, вероятностное и невероятностное обоснование RMSE, функция Хьюбера, Logcosh, обобщения MAE и RMSE, процентные функции ошибок (SMAPE, MAPE, PMAD), ошибки, основанные на сравнении с бенчмарком (MRAE, REL_MAE, PB), нормированные ошибки (MASE), несимметричные ошибки, ошибки с точностью до порога, использование функций ошибок для генерации признаков.

Качество в задачах классификации: матрица ошибок / несоответствий

«Сonfusion Matrix», точность (Accuracy, MCE), ошибки 1 и 2 рода, полнота (Recall, TPR), специфичность (TNR), точность (Precision),FPR(False Positive Rate), F1-мера, Cohen's Kappa, Weighted kappa, Коэффициент Мэттьюса (MCC).

Качество в задачах бинарной классификации с ответом в виде вероятности, скоринговые ошибки: логистическая функция ошибки Log Loss, MSE, Misclassification Loss, Exploss; Hinge loss; AUROC, GINI (кривая Лоренца),

Качество в многоклассовых задачах: Hamming Loss, cross-entropy, Mean Probability Rate, MSE, MAE, усреднения, обобщения F-меры, сбалансированная точность (Balanced accuracy). Разные виды усреднения качества: макро, микро, весовое, по объектам.

Обоснование визуализации: квартет Энскомба

История анализа данных и инфографики: Джозеф Пристли, Уильям Плейфэр, Шарль Жозеф Минар, Флоренс Найтингейл, Джон Сноу.

Игра «Что за данные»?

Примеры плохих визуализаций: 3D-графика, диаграммы-пироги (pie).

Рекомендации по выбору масштаба графиков и шкалы, пояснительного текста, цвета и стиля изображений, представления численных величин, использования разных средств визуализации.

Цели визуализации.

Описательные статистики: среднее, характерные элементы, разброс значений, абсолютные вариации, относительные вариации, моменты, стандартизованные моменты.

Пример визуализаций описательных статистик. Исследование частей выборки (фолдов), визуализация важностей признаков, первичные действия при анализе признака.

Визуализация отдельных признаков: диаграммы, гистограммы, плотности распределения, выбор числа бинов, трансформации признаков.

Визуализация категориальных признаков: гистограммы, диаграммы-пироги и области, уточнение природы признака.

Визуализация пары признаков: корреляция, зависимость признаков, независимость признаков, типичные значения, выбросы, кластеры. Диаграмма рассеивания. Использования шума для визуализации. Сводные таблицы, треугольные зависимости.

Визуализации пары «вещественный признак» – «категориальный». 

Сравнение с бенчмарком.

Визуализация «ответ алгоритма» – «ответ алгоритма». Визуализация «ответ алгоритма» – «признак». Деформации ответов и признаков. Residual plot.

Корреляции. 3D-визуализации. Dummy-визуализации. Проверка соответствия «train-test». Агрегация.

Фундаментальные свойства данных.

Виды данных. Предобработка данных.

Очистка данных (Data Cleaning): аномалии/выбросы, пропуски, шум, некорректные значения.

Сокращение данных (Data Reduction): сэмплирование, сокращение размерности, отбор признаков, отбор объектов.

Трансформация данных (Data Transformation): переименование признаков, объектов, значений признаков, преобразование типов; кодирование значений категориальных переменных; дискретизация; нормализация; сглаживание; создание признаков; агрегирование; обобщение; деформация значений.

Интеграция данных.

Типы числовых признаков.

Контекстные признаки.

Служебные признаки.

Утечка в данных.

Странности в данных.

Использование EDA для генерации признаков.

Вещественные признаки.

Временные признаки (характеристики моментов времени, взаимодействие пары признаков, использование для других признаков, использование для генерации признаков, использование для уточнения задачи).

Географические (пространственные) признаки: Spatial Variables. (проекции на разные оси, кластеризация, идентификация, привязка, характеристики окрестности, анализ траекторий, деанонимизация данных, использование контекста и исследование странностей, генерация расстояний и использование для других признаков).

Обработка категориальных признаков

Задача кластеризации, типы кластеризации

k-средних (Lloyd’s algorithm)

Обобщения k-means

Модельные задачи кластеризации

Affinity propagation: кластеризация сообщениями между точками

Сдвиг среднего (Mean Shift): обнаружение мод плотности

Иерархическая кластеризация (Hierarchical clustering)

Типы Linkage

Кластеризация на основе минимального остовного дерева

Спектральная кластеризация

DBSCAN

BIRCH

Gaussian Mixture Model (GMM)

Формула Байеса

Оптимальное решение задач классификации

Минимизация среднего риска

Наивный байес (naive Bayes)

Байесовский подход в машинном обучении

Метод максимального правдоподобия

MAP

Особенности байесовского подхода

Байесовская теория для линейной регрессии

Логистическая регрессия

Байесовские точечные оценки

Байесовские интервальные оценки

RVM

Перечень задачи обучения без учителя: кластеризация (Clustering), поиск аномалий, тематические модели (Topic discovery), оценка плотностей (Density Estimation), генерация данных (Data Generation), снижение размерности (Dimensionality Reduction), вложение в поверхности (Manifold Learning), получение представлений (Representation Learning), устранение шума (noise reduction), заполнение пропусков / дополнение матриц (matrix completion), поиск ассоциативных правил (association rule learning).

Понижение (сокращение) размерности

Две интерпретации PCA: Maximum Variance Subspace – максимизирует разброс, Minimum Reconstruction Error – минимизирует MSE (между точками и их проекциями)
Связь с SVD, факторизацией, декоррелиацией

Нелинейное сокращение размерности: Kernel PCA, LLE (Locally Linear Embedding), SNE (Stochastic Neighbor Embedding), t-SNE (t-distributed Stochastic Neighbor Embedding), IsoMap (Isometric Mapping), MDS (MultiDimensional Scaling), Maximum Variance Unfolding, Spectral Embedding / Laplacian Eigenmap

Устранение шума (Noise Reduction)

Генерация Данных (Data Generation)

Обнаружение выбросов и новизны (anomaly detection).

Понятие «выброс» и «новизна», «шум», «аномалия».

Приложения задачи обнаружения аномалий.

Методы обнаружения аномалий: статистические тесты, модельные тесты, итерационные методы, метрические методы, методы подмены задачи, методы машинного обучения (одноклассовый SVM, изолирующий лес, эллипсоидальные аппроксимации), ансамбли алгоритмов.

Основные термины АП

Apriori

Причины отбора признаков.

Классификация методов отбора: фильтры, обёртки, встроенные методы.

Оценка стабильности и зависимости признака. Отбор как задача глобальной оптимизации.

Классы алгоритмов метаоптимизации: перебор, направленный поиск (градиентный алгоритм, симуляция отжига, метод луча (beam search), локальный поиск), стохастическая оптимизация (генетический алгоритм).

Проблема «исследования-использования».