Читать книгу Deep Learning illustriert - Jon Krohn - Страница 16

Abb. 1–9Der in Paris geborene Yann LeCun gehört zu den bedeutendsten Gestalten in der Forschung zu künstlichen neuronalen Netzen und Deep Learning. LeCun ist Gründungsdirektor des New Yorker »University Center for Data Science« sowie Leiter der KI-Forschung des sozialen Netzwerks Facebook.

Abb. 1–10Yoshua Bengio ist eine weitere führende Person auf dem Gebiet der künstlichen neuronalen Netze und des Deep Learning. Geboren in Frankreich, arbeitet er jetzt als Informatikprofessor an der University of Montreal und gehört zu den Leitern des renommierten »Machines and Brains«-Programms am kanadischen »Institute for Advanced Research«.

Während das Neocognitron zum Beispiel in der Lage war, handgeschriebene Zeichen zu identifizieren⁹, stellte die Genauigkeit und Effizienz des LeNet-5-Modells¹⁰ von Yann LeCun (Abbildung 1–9) und Yoshua Bengio (Abbildung 1–10) eine beeindruckende Weiterentwicklung dar. Die hierarchische Architektur von LeNet-5 (Abbildung 1–11) baute auf dem Modell von Fukushima und dessen biologischer Inspiration durch Hubel und Wiesel¹¹ auf. Darüber hinaus genossen LeCun und seine Kollegen den Vorteil besserer Daten zum Trainieren ihres Modells¹², einer schnelleren Verarbeitungsleistung und – was entscheidend war – des Backpropagation-Algorithmus.

Backpropagation (auch Rückpropagierung oder Rückführung genannt) ermöglicht ein effizientes Lernen durch die Schichten künstlicher Neuronen in einem Deep-Learning-Modell.¹³ Die Daten der Forscher und die Verarbeitungsleistung sorgten dafür, dass LeNet-5 ausreichend zuverlässig für eine frühe kommerzielle Anwendung des Deep Learning wurde: Der United States Postal Service (USPS) nutzte es, um das Lesen der ZIP-Codes¹⁴ auf Briefumschlägen zu automatisieren. In Kapitel 10, wenn es um das maschinelle Sehen geht, werden Sie LeNet-5 aus erster Hand erleben, wenn Sie es selbst entwerfen und auf die Erkennung handgeschriebener Ziffern trainieren.

Abb. 1–11LeNet-5 behielt die hierarchische Architektur bei, die von Hubel und Wiesel im primären visuellen Cortex entdeckt und von Fukushima in seinem Neocognitron benutzt wurde. Wie in diesen anderen Systemen auch repräsentiert die ganz links gelegene Schicht einfache Kanten, während nachfolgende Schichten zunehmend komplexer werdende Eigenschaften darstellen. Durch eine solche Verarbeitung von Informationen sollte zum Beispiel eine handgeschriebene »2« korrekt als Zahl Zwei erkannt werden (in der Ausgabe ganz rechts grün hervorgehoben).

In LeNet-5 hatten Yann LeCun und seine Kollegen einen Algorithmus, der korrekt die handgeschriebenen Ziffern vorhersagen konnte, ohne dass besondere Expertise über handgeschriebene Ziffern in dessen Code vorhanden sein musste. Entsprechend bietet LeNet-5 eine Gelegenheit, einen grundlegenden Unterschied zwischen Deep Learning und dem traditionellen Machine Learning vorzustellen. Wie in Abbildung 1–12 verdeutlicht wird, zeichnet sich der traditionelle Machine-Learning-Ansatz dadurch aus, dass seine Anwender den größten Teil ihrer Bemühungen in das Entwickeln von sogenannten Features (Eigenschaften, Merkmale) stecken. Dieses Feature Engineering ist die Anwendung ausgeklügelter und oft sehr aufwendiger Algorithmen auf Rohdaten, um eine Vorverarbeitung dieser Daten zu Eingabevariablen vorzunehmen, die dann leicht durch herkömmliche statistische Techniken modelliert werden können. Diese Techniken – wie Regression, Random Forest und Support Vector Machine – lassen sich auf nicht verarbeitete Daten nur selten effektiv anwenden, sodass die Entwicklung der Eingabedaten in der Vergangenheit der Hauptfokus der Machine-Learning-Forscher war.

Im Allgemeinen wenden Nutzer des traditionellen Machine Learning nur wenig Zeit für das Optimieren von ML-Modellen auf oder darauf, das effektivste Modell aus dem vorhandenen Angebot auszuwählen. Der Deep-Learning-Ansatz stellt diese Prioritäten auf den Kopf. Ein Deep-Learning-Anwender verbringt üblicherweise kaum oder keine Zeit mit dem Entwickeln von Features, sondern verbringt sie damit, Daten mit verschiedenen Architekturen künstlicher neuronaler Netze zu modellieren, die die rohen Eingabedaten automatisch zu sinnvollen Features verarbeiten. Dieser Unterschied zwischen Deep Learning und dem traditionellen Machine Learning (TML) ist das entscheidende Thema dieses Buches. Im nächsten Abschnitt finden Sie ein klassisches Beispiel für das Feature Engineering, das diesen Unterschied genauer erläutern soll.

Abb. 1–12Feature Engineering – die Umwandlung von Rohdaten in sinnvoll gestaltete Inputvariablen – beherrscht oft den Einsatz traditioneller Machine-Learning-Algorithmen (TML). Im Gegensatz dazu kommt es bei der Anwendung von Deep Learning kaum zu Feature Engineering, sondern der größte Teil der Zeit wird mit dem Entwurf und der Anpassung der Modellarchitekturen zugebracht.