Читать книгу Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow - Aurélien Géron - Страница 172

Beachten Sie, dass der Ausdruck A p b genau n_c Nebenbedingungen definiert: p^T a⁽ⁱ⁾ b⁽ⁱ⁾ mit i = 1, 2, … n_c, wobei a⁽ⁱ⁾ ein Vektor mit den Elementen der i. Zeile von A und b⁽ⁱ⁾ das i. Element von b ist.

Sie können leicht nachweisen, dass Sie mit den folgenden QP-Parametern die Zielfunktion für einen linearen Hard-Margin-SVM-Klassifikator erhalten:

 n_p = n + 1, wobei n die Anzahl Merkmale ist (das +1 steht für den Bias-Term).

 n_c = m, wobei m der Anzahl Trainingsdatenpunkte entspricht.

 H ist eine n_p × n_p-Identitätsmatrix, außer dass die Zelle in der linken oberen Ecke eine Null enthält (um den Bias-Term zu ignorieren).

 f = 0, ein n_p-dimensionaler Vektor voller Nullen.

 b = –1, ein n_c-dimensionaler Vektor voll mit –1.

 a(i) = –t(i) (i), wobei (i) gleich x(i) mit dem zusätzlichen Bias-Merkmal 0 = 1 ist.

Demnach können Sie einen linearen Hard-Margin-SVM-Klassifikator trainieren, indem Sie einen QP-Solver von der Stange verwenden und ihm die oben angegebenen Parameter übergeben. Der als Ergebnis erhaltene Vektor p enthält den Bias-Term b = p₀ und die Gewichte der Merkmale w_i = p_i mit i = 1, 2, …, n. In ähnlicher Weise können Sie einen QP-Solver einsetzen, um ein Soft-Margin-Problem zu lösen (Übungen dazu finden Sie am Ende dieses Kapitels).

Um jedoch den Kerneltrick zu verwenden, werden wir uns eine andere Art Optimierungsproblem mit Nebenbedingungen ansehen.