Читать книгу Deep Learning illustriert - Jon Krohn - Страница 23

In Kapitel 1 haben wir uns mithilfe der Analogie des biologischen visuellen Systems einen Überblick über die Theorie des Deep Learning verschafft. Dabei haben wir betont, dass eine der wesentlichen Stärken dieser Technik in der Fähigkeit besteht, Features, d.h. Merkmale, automatisch aus Daten zu lernen. In diesem Kapitel werden wir unser Grundwissen zum Deep Learning ausbauen und untersuchen, wie das Deep Learning in Sprachanwendungen integriert ist. Unser besonderes Augenmerk gilt herbei der Frage, wie es automatisch Features erlernen kann, die die Bedeutung von Wörtern repräsentieren.

Der österreichisch-britische Philosoph Ludwig Wittgenstein formulierte in seinem posthum erschienenen zweiten Hauptwerk Philosophische Untersuchungen: »Die Bedeutung eines Wortes ist sein Gebrauch in der Sprache.«¹ Er schrieb weiterhin: »Wie ein Wort funktioniert, kann man nicht erraten. Man muss seine Anwendung ansehen und daraus lernen.« Wittgenstein deutete an, dass Wörter allein keine wirkliche Bedeutung besitzen; stattdessen sind wir erst durch ihre Benutzung im größeren Kontext dieser Sprache in der Lage, ihre Bedeutung zu bestimmen. Wie Sie in diesem Kapitel sehen werden, stützt sich die Verarbeitung natürlicher Sprache mit Deep Learning sehr stark auf diese Prämisse. Und tatsächlich leitet die hier vorgestellte word2vec-Technik, die Wörter in numerische Modelleingaben umwandelt, ihre semantische Repräsentation eines Wortes explizit von der Analyse dieses Wortes in seinem Kontext innerhalb eines großen Sprachkörpers ab.

Auf Grundlage dieser Vorstellung beginnen wir damit, das Deep Learning für die Verarbeitung natürlicher Sprache (linguistische Datenverarbeitung bzw. LDV; wir werden hier aber den englischen Ausdruck Natural Language Processing oder NLP verwenden) als Disziplin zu erkunden. Anschließend diskutieren wir moderne Deep-Learning-Techniken für das Darstellen von Wörtern und Sprache. Am Ende dieses Kapitels sollten Sie eine gute Vorstellung davon haben, was mit Deep Learning und NLP möglich ist, sodass Sie eine solide Grundlage haben, um in Kapitel 11 entsprechenden Code zu schreiben.