Оценка качества моделей машинного обучения: выбор, интерпретация и применение метрик

Mean Absolute Error (MAE) – метрика качества модели для задач регрессии, которая измеряет среднюю абсолютную ошибку между прогнозируемым и фактическим значением.

R-squared (коэффициент детерминации) – метрика качества модели для задач регрессии, которая измеряет долю дисперсии, которая может быть объяснена моделью.

Silhouette coefficient (коэффициент силуэта) – метрика качества модели для задач кластеризации, которая измеряет степень разделения кластеров.

Calinski-Harabasz index (индекс Калински-Харабаса) – метрика качества модели для задач кластеризации, которая измеряет степень разделения кластеров и межкластерное расстояние.

Davies-Bouldin index (индекс Дэвиса-Болдина) – метрика качества модели для задач кластеризации, которая измеряет суммарное сходство кластеров и их компактность.

AUROC (площадь под кривой операционной характеристики получателя) – метрика качества модели для задач обнаружения аномалий и классификации, которая измеряет способность модели различать между классами и находить аномалии.

Mean Average Precision (mAP) – метрика качества модели для задач обнаружения объектов, которая измеряет среднюю точность распознавания объектов на изображениях.

Intersection over Union (IoU) – метрика качества модели для задач обнаружения объектов, которая измеряет степень перекрытия между прогнозируемыми и фактическими объектами на изображениях.

Overfitting (переобучение) – явление, когда модель слишком хорошо запоминает данные обучения и не может обобщать на новые данные.

Underfitting (недообучение) – явление, когда модель не может достичь достаточной точности на данных обучения и не может обобщать на новые данные.

Cross-validation (кросс-валидация) – метод оценки производительности модели путем разделения данных на несколько частей и обучения модели на одной части и тестирования на другой. Этот процесс повторяется несколько раз с разными разбиениями данных, чтобы усреднить оценку производительности модели.

Hyperparameters (гиперпараметры) – параметры модели машинного обучения, которые настраиваются перед обучением и влияют на ее производительность и способность обобщать на новые данные.

Bias (смещение) – ошибка модели, которая происходит из-за ее недостаточной сложности и невозможности захватить сложные зависимости в данных.

Variance (дисперсия) – ошибка модели, которая происходит из-за ее слишком большой сложности и способности переобучаться на данных обучения.