Читать книгу Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow - Aurélien Géron - Страница 99

Scikit-Learn enthält mehrere Funktionen zum Berechnen von Klassifikationsmetriken, darunter Relevanz und Sensitivität:

>>> from sklearn.metrics import precision_score, recall_score

>>> precision_score(y_train_5, y_train_pred) # == 4096 / (4096 + 1522)

0.7290850836596654

>>> recall_score(y_train_5, y_train_pred) # == 4096 / (4096 + 1325)

0.7555801512636044

Damit glänzt Ihr 5-Detektor nicht mehr so stark, wie es die Genauigkeit zunächst vermuten ließ. Wenn er erklärt, dass ein Bild eine 5 enthält, liegt er nur in 72,9% der Fälle richtig. Außerdem findet er nur 75,6% der vorhandenen 5en.

Es ist oft bequem, Relevanz und Sensitivität zu einer einzigen Metrik zu kombinieren, dem F₁-Score, insbesondere wenn Sie zwei Klassifikatoren miteinander vergleichen möchten. Der F₁-Score ist der harmonische Mittelwert von Relevanz und Sensitivität (siehe Formel 3-3). Während der gewöhnliche Mittelwert alle Werte gleich behandelt, erhalten beim harmonischen Mittelwert niedrigere Mittelwerte ein weitaus höheres Gewicht. Daher erhält ein Klassifikator nur dann einen hohen F₁-Score, wenn sowohl Relevanz als auch Sensitivität hoch sind.