Читать книгу Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow - Aurélien Géron - Страница 128
Ridge-Regression
ОглавлениеDie Ridge-Regression (auch Regularisierung nach Tikhonov genannt) ist eine regularisierte Variante der linearen Regression: Zur Kostenfunktion wird der Regularisierungsterm addiert. Dieser zwingt den Lernalgorithmus, nicht nur die Daten zu fitten, sondern auch die Gewichte des Modells so klein wie möglich zu halten. Ein Regularisierungsterm sollte nur beim Trainieren zur Kostenfunktion addiert werden. Ist das Modell erst einmal trainiert, sollten Sie die Vorhersageleistung des Modells mit dem nicht regularisierten Leistungsmaß evaluieren.
| Es tritt recht häufig auf, dass sich die Kostenfunktion beim Trainieren vom Qualitätsmaß beim Testen unterscheidet. Neben der Regularisierung besteht ein weiterer Grund darin, dass eine Kostenfunktion beim Trainieren leicht optimierbare Ableitungen haben sollte, während das Leistungsmaß beim Testen möglichst nah am eigentlichen Ziel sein sollte. Ein gutes Beispiel hierfür ist ein Klassifikator, der mit einer Kostenfunktion wie (dem in Kürze besprochenen) Log Loss trainiert wird, aber mit Relevanz und Sensitivität evaluiert wird. |
Der Hyperparameter α steuert, wie stark Sie das Modell regularisieren möchten. Bei α = 0 entspricht die Ridge-Regression exakt der linearen Regression. Wenn α sehr groß ist, werden sämtliche Gewichte annähernd null, und es ergibt sich eine horizontale Linie durch den Mittelwert der Daten. Formel 4-8 zeigt die Kostenfunktion bei der Ridge-Regression.9
