Читать книгу Deep Learning illustriert - Jon Krohn - Страница 33

Nachdem wir nun ein intuitives Verständnis für Wortvektoren gewonnen haben, können wir sie mit den 1-aus-n-Darstellungen (Abbildung 2–4) vergleichen, die bereits länger in der NLP-Welt etabliert sind. In einer kurzgefassten Unterscheidung können wir sagen, dass Wortvektoren die Bedeutung von Wörtern in einer verteilten Repräsentation über den n-dimensionalen Raum speichern. Das heißt, bei Wortvektoren wird die Wortbedeutung nach und nach verteilt – geschmiert –, während wir uns von Ort zu Ort durch den Vektorraum bewegen. 1-aus-n-Darstellungen dagegen sind lokalistisch. Sie speichern die Informationen zu einem bestimmten Wort diskret in einer einzelnen Zeile einer üblicherweise extrem dünn besetzten Matrix.

Um den Unterschied zwischen dem lokalistischen 1-aus-n-Ansatz und dem verteilten vektorbasierten Ansatz der Wortrepräsentation gründlicher zu veranschaulichen, vergleicht Tabelle 2–1 sie mithilfe einer Reihe von Attributen.

Erstens mangelt es 1-aus-n-Darstellungen an Nuancen, sie sind lediglich binäre Marker. Vektorbasierte Repräsentationen hingegen sind außerordentlich nuanciert: In ihnen sind Informationen über Wörter über einen durchgehenden, quantitativen Raum geschmiert. In diesem hochdimensionalen Raum gibt es im Prinzip unendlich viele Möglichkeiten, um die Beziehungen zwischen Wörtern zu erfassen.

Zweitens erfordert die Verwendung von 1-aus-n-Repräsentationen in der Praxis oft arbeitsintensive, manuell kuratierte Taxonomien. Diese Taxonomien umfassen Wörterbücher und andere spezialisierte Referenzsprachdatenbanken.¹⁸ Solche externen Referenzen sind für vektorbasierte Repräsentationen unnötig, die vollständig automatisch mit der natürlichen Sprache allein funktionieren.

Drittens kommen 1-aus-n-Repräsentationen nicht gut mit neuen Wörtern zurecht. Ein neu eingeführtes Wort erfordert eine neue Zeile in der Matrix und dann eine Neuanalyse relativ zu den vorhandenen Zeilen im Textkorpus, gefolgt von Codeänderungen – möglicherweise über Referenzen zu externen Informationsquellen. Bei vektorbasierten Repräsentationen können neue Wörter eingebunden werden, indem der Vektorraum mit der natürlichen Sprache trainiert wird, die Beispiele der neuen Wörter in ihrem natürlichen Kontext enthält. Ein neues Wort bekommt seinen eigenen n-dimensionalen Vektor. Zu Anfang gibt es vielleicht nur wenige Trainingsdatenpunkte, die das neue Wort beinhalten, sodass dessen Vektor innerhalb des n-dimensionalen Raums noch nicht korrekt positioniert ist, aber die Positionierung aller vorhandenen Wörter bleibt intakt und das Modell funktioniert weiter. Wenn mit der Zeit die Instanzen des neuen Wortes in der natürlichen Sprache zunehmen, verbessert sich auch die Genauigkeit seiner Vektorraumkoordinaten¹⁹.

1-aus-n	Vektorbasiert
Nicht subtil	Sehr nuanciert
Manuelle Taxonomien	Automatisch
Kommen schlecht mit neuen Wörtern zurecht.	Nehmen neue Wörter nahtlos auf.
Subjektiv	Basieren auf natürlichsprachigen Daten.
Wortähnlichkeiten werden nicht berücksichtigt.	Wortähnlichkeit = Nähe im Raum

Tab. 2–1 Gegenüberstellung von Attributen lokalistischer 1-aus-n-Repräsentationen und verteilter vektorbasierter Repräsentationen

Viertens – und dies folgt aus den vorherigen zwei Punkten: Der Einsatz von 1-aus-n-Repräsentationen ist oft mit subjektiven Interpretationen der Bedeutung von Sprache verbunden. Das liegt daran, weil sie oft kodierte Regeln oder Referenzdatenbanken erfordern, die von (relativ kleinen Gruppen von) Entwicklern entworfen werden. Die Bedeutung der Sprache in vektorbasierten Repräsentationen ist derweil datengetrieben.²⁰

Fünftens ignorieren 1-aus-n-Repräsentationen von sich aus Wortähnlichkeiten: Ähnliche Wörter, wie couch und sofa, werden nicht anders repräsentiert als Wörter, die gar nichts miteinander zu tun haben. Vektorbasierte Repräsentationen kommen im Gegensatz dazu mit Wortähnlichkeiten zurecht: Wie in Bezug auf Abbildung 2–6 erwähnt, liegen zwei Wörter im Vektorraum umso näher beieinander, je ähnlicher sie einander sind.