Читать книгу Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow - Aurélien Géron - Страница 168

Betrachten wir die Steigung der Entscheidungsfunktion: Sie entspricht der Norm des Gewichtsvektors || w ||. Wenn wir diese Steigung durch 2 teilen, sind die Punkte, bei denen die Enscheidungsfunktion ±1 beträgt, doppelt so weit von der Entscheidungsgrenze entfernt. Anders ausgedrückt, führt das Teilen der Steigung durch 2 zu einer Multiplikation des Margins mit dem Faktor 2. Dies lässt sich etwas besser in 2-D veranschaulichen, wie in Abbildung 5-13 gezeigt. Je kleiner der Gewichtsvekor w, umso größer wird der Margin.

Abbildung 5-13: Ein kleinerer Gewichtsvektor führt zu einem größeren Margin.

Wir möchten also || w || minimieren, um einen großen Margin zu erhalten. Wenn wir allerdings jegliche Verletzungen des Margins vermeiden möchten (Hard-Margin), muss die Entscheidungsfunktion für alle positiven Trainingsdatenpunkte größer als 1 sein und für alle negativen Punkte kleiner als –1. Wenn wir für negative Datenpunkte t⁽ⁱ⁾ = –1 (wenn y⁽ⁱ⁾ = 0 gilt) und für positive Datenpunkte (tⁱ⁾ = 1 festlegen (wenn y⁽ⁱ⁾ = 1 gilt), können wir diese Bedingung für alle Datenpunkte durch t⁽ⁱ⁾(w^T x⁽ⁱ⁾ + b) 1 ausdrücken.

Daher lässt sich die Zielfunktion eines linearen SVM-Klassifikators mit Hard-Margin durch das Optimierungsproblem mit Nebenbedingungen in Formel 5-3 schreiben.