Оценка качества моделей машинного обучения: выбор, интерпретация и применение метрик

Кроме того, книга может быть полезна начинающим специалистам в области машинного обучения, которые только начинают осваивать теорию и практику оценки качества модели.

Термины и определения

Модель машинного обучения – алгоритм, который использует статистические методы для обучения на данных и прогнозирования результатов на новых данных.

Метрика качества модели – инструмент для оценки производительности модели машинного обучения. Метрики качества модели позволяют измерить точность и качество работы модели на данных.

Задача классификации – задача машинного обучения, при которой модель должна отнести объекты к определенным классам на основе характеристик объектов.

Задача регрессии – задача машинного обучения, при которой модель должна предсказать численный выход на основе входных данных.

Задача кластеризации – задача машинного обучения, при которой модель должна группировать объекты в кластеры на основе сходства между объектами.

Задача обнаружения аномалий – задача машинного обучения, при которой модель должна определять объекты, которые отличаются от нормального поведения.

Задача обнаружения объектов – задача машинного обучения, при которой модель должна обнаруживать объекты на изображениях и видео.

Accuracy (Точность) – метрика качества модели для задач классификации, которая определяет долю правильных ответов, которые модель дает для всех классов.

Precision (Точность) – метрика качества модели для задач классификации, которая определяет долю истинно положительных ответов относительно всех положительных ответов.

Recall (Полнота) – метрика качества модели для задач классификации, которая определяет долю истинно положительных ответов относительно всех истинно положительных и ложно отрицательных ответов.

F1-score (F-мера) – метрика качества модели для задач классификации, которая является гармоническим средним между точностью и полнотой.

ROC AUC – метрика качества модели для задач классификации, которая измеряет способность модели различать между классами.

Mean Squared Error (MSE) – метрика качества модели для задач регрессии, которая измеряет среднеквадратическую ошибку между прогнозируемым и фактическими значениями.

Root Mean Squared Error (RMSE) – метрика качества модели для задач регрессии, которая является корнем из среднеквадратической ошибки.