Оглавление
Группа авторов. Оценка качества моделей машинного обучения: выбор, интерпретация и применение метрик
Введение
Термины и определения
Введение в метрики качества модели
Что такое метрики качества модели?
Зачем нужны метрики качества модели?
Как выбрать подходящую метрику качества модели?
Метрики качества модели для задач классификации
Метрика Accuracy (Точность)
Метрика Precision (Точность)
Метрика Recall (Полнота)
Метрика F1-score (F-мера)
Метрика ROC AUC
Метрика Log Loss
Метрика Confusion Matrix (Матрица ошибок)
Метрики качества модели для задач регрессии
Метрика Mean Squared Error (MSE)
Метрика Root Mean Squared Error (RMSE)
Метрика Mean Absolute Error (MAE)
Метрика R-squared (Коэффициент детерминации)
Метрики качества модели для задач кластеризации
Метрика Silhouette Coefficient
Метрика Индекс Калинского-Харабаса (Calinski-Harabasz Index)
Метрика Индекс Дэвиса-Боулдина (Davies-Bouldin Index, DBI)
Метрики качества модели для задач обнаружения аномалий
Метрика Precision@k
Метрика Recall@k
Метрика F1-score@k
Метрики качества модели для задач обнаружения объектов
Метрика Mean Average Precision (mAP)
Метрика Intersection over Union (IoU)
Интерпретация метрик качества модели
Заключение
Основные выводы
Перспективы развития метрик качества модели
Отрывок из книги
Модель машинного обучения – алгоритм, который использует статистические методы для обучения на данных и прогнозирования результатов на новых данных.
Метрика качества модели – инструмент для оценки производительности модели машинного обучения. Метрики качества модели позволяют измерить точность и качество работы модели на данных.
.....
FN: модель неправильно определила статью по политике как спортивную статью (30 статей). Значение FN также не важно для расчета Precision.
Рассчитайте точность как отношение TP к общему числу положительных ответов (TP + FP): Precision = TP / (TP + FP) = 120 / (120 + 10) = 120 / 130 = 0.923 = 92.3%
.....
