Читать книгу Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow - Aurélien Géron - Страница 130

= (X^TX + αA)^–1X^T y

Die Ridge-Regression lässt sich mit Scikit-Learn in der geschlossenen Form folgendermaßen lösen (mit einer Variante von Formel 4-9 nach einer Technik zur Matrizenfaktorisierung von André-Louis Cholesky):

>>> from sklearn.linear_model import Ridge

>>> ridge_reg = Ridge(alpha=1, solver="cholesky")

>>> ridge_reg.fit(X, y)

>>> ridge_reg.predict([[1.5]])

array([[1.55071465]])

Über das stochastische Gradientenverfahren:¹²

>>> sgd_reg = SGDRegressor(penalty="l2")

>>> sgd_reg.fit(X, y.ravel())

>>> sgd_reg.predict([[1.5]])

array([1.47012588])

Der Hyperparameter penalty legt die Art des Regularisierungsterms fest. Über die Angabe "l2" fügen Sie zur Kostenfunktion einen Regularisierungsterm in Höhe des halben Quadrats der ℓ₂-Norm des Gewichtsvektors hinzu: Dies entspricht der Ridge-Regression.