Читать книгу Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow - Aurélien Géron - Страница 169

minimiere 12 unter der Bedingungt⁽ⁱ⁾(w^Tx⁽ⁱ⁾ + b) ≥ 1für i = 1, 2, …, m

Wir minimieren 1/2 wT w, was gleich 1/2 || w ||2 ist, anstatt || w || zu minimieren. Denn 1/2 || w ||2 besitzt eine einfachere Ableitung (sie beträgt einfach nur w), während || w || bei w = 0 nicht differenzierbar ist. Algorithmen zur Optimierung laufen mit differenzierbaren Funktionen viel besser.

Um die Zielfunktion für Soft-Margin zu erhalten, müssen wir für jeden Datenpunkt eine Slack-Variable ζ⁽ⁱ⁾ 0 einführen⁴: ζ⁽ⁱ⁾ bestimmt, inwieweit der i. Datenpunkt den Margin verletzen darf. Wir haben nun zwei gegenläufige Ziele: die Slack-Variablen so klein wie möglich zu machen, um Verletzungen des Margins zu verringern, und 1/2 w^T w so klein wie möglich zu machen, um den Margin zu vergrößern. An dieser Stelle kommt der Hyperparameter C ins Spiel: Er erlaubt uns, die Balance zwischen diesen beiden Zielen festzulegen. Damit erhalten wir das Optimierungsproblem in Formel 5-4.