Читать книгу Deep Learning illustriert - Jon Krohn - Страница 27

Abb. 2–3 Meilensteine bei der Anwendung des Deep Learning auf die Verarbeitung natürlicher Sprache

Der Zeitstrahl in Abbildung 2–3 hebt aktuelle Meilensteine bei der Anwendung von Deep Learning auf NLP hervor. Er beginnt im Jahre 2011, als der Informatiker George Dahl von der University of Toronto und seine Kollegen von Microsoft Research den ersten großen Durchbruch beim Einsatz eines Deep-Learning-Algorithmus auf einen großen Datensatz präsentierten.³ Bei diesem Durchbruch kamen Daten aus natürlicher Sprache zum Einsatz. Dahl und sein Team trainierten ein tiefes neuronales Netzwerk darauf, ein beträchtliches Vokabular an Wörtern aus Sprachaufzeichnungen zu erkennen. Ein Jahr später kam, wie bereits in Kapitel 1 ausgeführt wurde, der nächste entscheidende Durchbruch auf dem Gebiet des Deep Learning ebenfalls aus Toronto: AlexNet fegte die Konkurrenz aus traditionellen Machine-Learning-Systemen beim ImageNet Large Scale Visual Recognition Challenge (Abbildung 1–16) aus dem Rennen. Die erstaunliche Leistung dieses Systems sorgte dafür, dass sich der Fokus eine Zeitlang nun auf Anwendungen zum maschinellen Sehen (Machine Vision) richtete.

Ab 2015 begann der Fortschritt beim Deep Learning sich vom maschinellen Sehen auf NLP-Wettbewerbe auszuweiten, wie etwa denen, die die Genauigkeit von maschinellen Übersetzungen bewerten. Diese Deep-Learning-Modelle näherten sich der Genauigkeit der traditionellen Machine-Learning-Methoden, allerdings erforderten sie weniger Forschungs- und Entwicklungsaufwand bei gleichzeitig geringerer Rechenkomplexität. Diese verminderte Rechenkomplexität erlaubte es Microsoft, Echtzeitübersetzungssoftware in Prozessoren für Mobiltelefone zu quetschen – ein bemerkenswerter Fortschritt für eine Aufgabe, die zuvor eine Internet-Verbindung und aufwendige Berechnungen auf einem Server verlangt hatte. 2016 und 2017 waren Deep-Learning-Modelle, die an NLP-Wettbewerben teilnahmen, nicht nur effizienter als traditionelle Machine-Learning-Modelle, sondern begannen, diese an Exaktheit zu übertreffen. Wir werden im weiteren Verlauf dieses Kapitels zeigen, wie das geht.