Оглавление
Aurélien Géron. Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow
Praxiseinstieg Machine Learning mit Scikit-Learn, Keras und TensorFlow
Inhalt
Vorwort. Der Machine-Learning-Tsunami
Machine Learning in Ihren Projekten
Ziel und Ansatz
Voraussetzungen
Wegweiser durch dieses Buch
Änderungen in der zweiten Auflage
Ressourcen im Netz
In diesem Buch verwendete Konventionen
Codebeispiele
Verwenden von Codebeispielen
Danksagungen
KAPITEL 1. Die Machine-Learning-Umgebung
Was ist Machine Learning?
Warum wird Machine Learning verwendet?
Anwendungsbeispiel
Unterschiedliche Machine-Learning-Systeme
Überwachtes/unüberwachtes Lernen
Überwachtes Lernen
Unüberwachtes Lernen
Halbüberwachtes Lernen
Reinforcement Learning
Batch- und Online-Learning
Batch-Learning
Online-Learning
Instanzbasiertes versus modellbasiertes Lernen
Instanzbasiertes Lernen
Modellbasiertes Lernen
Formel 1-1: Ein einfaches lineares Modell
Beispiel 1-1: Trainieren und Ausführen eines linearen Modells mit Scikit-Learn
Die wichtigsten Herausforderungen beim Machine Learning
Unzureichende Menge an Trainingsdaten
Die unverschämte Effektivität von Daten
Nicht repräsentative Trainingsdaten
Beispiele für Stichprobenverzerrungen
Minderwertige Daten
Irrelevante Merkmale
Overfitting der Trainingsdaten
Underfitting der Trainingsdaten
Zusammenfassung
Testen und Validieren
Hyperparameter anpassen und Modellauswahl
Datendiskrepanz
Das No-Free-Lunch-Theorem
Übungen
KAPITEL 2. Ein Machine-Learning-Projekt von A bis Z
Der Umgang mit realen Daten
Betrachte das Gesamtbild
Die Aufgabe abstecken
Pipelines
Wähle ein Qualitätsmaß aus
Formel 2-1: Wurzel der mittleren quadratischen Abweichung (RMSE)
Schreibweisen
Formel 2-2: mittlerer absoluter Fehler
Überprüfe die Annahmen
Beschaffe die Daten
Erstelle eine Arbeitsumgebung
Erstellen einer isolierten Umgebung
Die Daten herunterladen
Wirf einen kurzen Blick auf die Datenstruktur
Erstelle einen Testdatensatz
Erkunde und visualisiere die Daten, um Erkenntnisse zu gewinnen
Visualisieren geografischer Daten
Suche nach Korrelationen
Experimentieren mit Kombinationen von Merkmalen
Bereite die Daten für Machine-Learning-Algorithmen vor
Aufbereiten der Daten
Das Design von Scikit-Learn
Bearbeiten von Text und kategorischen Merkmalen
Eigene Transformer
Skalieren von Merkmalen
Pipelines zur Transformation
Wähle ein Modell aus und trainiere es
Trainieren und Auswerten auf dem Trainingsdatensatz
Bessere Auswertung mittels Kreuzvalidierung
Optimiere das Modell
Gittersuche
Zufällige Suche
Ensemble-Methoden
Analysiere die besten Modelle und ihre Fehler
Evaluiere das System auf dem Testdatensatz
Nimm das System in Betrieb, überwache und warte es
Probieren Sie es aus!
Übungen
KAPITEL 3. Klassifikation
MNIST
Trainieren eines binären Klassifikators
Qualitätsmaße
Messen der Genauigkeit über Kreuzvalidierung
Implementierung der Kreuzvalidierung
Konfusionsmatrix
Formel 3-1: Relevanz
Formel 3-2: Sensitivität
Relevanz und Sensitivität
Formel 3-3: F1
Die Wechselbeziehung zwischen Relevanz und Sensitivität
Die ROC-Kurve
Klassifikatoren mit mehreren Kategorien
Fehleranalyse
Klassifikation mit mehreren Labels
Klassifikation mit mehreren Ausgaben
Übungen
KAPITEL 4. Trainieren von Modellen
Lineare Regression
Formel 4-1: Lineares Regressionsmodell zur Vorhersage
Formel 4-2: Lineares Regressionsmodell zur Vorhersage (Vektorschreibweise)
Formel 4-3: MSE-basierte Kostenfunktion für ein lineares Regressionsmodell
Die Normalengleichung
Formel 4-4: Normalengleichung
Komplexität der Berechnung
Das Gradientenverfahren
Batch-Gradientenverfahren
Formel 4-5: Partielle Ableitung der Kostenfunktion
Formel 4-6: Gradientenvektor der Kostenfunktion
Formel 4-7: Schritt im Gradientenverfahren
Konvergenzrate
Stochastisches Gradientenverfahren
Mini-Batch-Gradientenverfahren
Polynomielle Regression
Lernkurven
Das Gleichgewicht zwischen Bias und Varianz
Regularisierte lineare Modelle
Ridge-Regression
Formel 4-8: Kostenfunktion bei der Ridge-Regression
Formel 4-9: Lösung der geschlossenen Form bei der Ridge-Regression
Lasso-Regression
Formel 4-10: Kostenfunktion bei der Lasso-Regression
Formel 4-11: Subgradientenvektor für die Lasso-Regression
Elastic Net
Formel 4-12: Kostenfunktion von Elastic Net
Early Stopping
Logistische Regression
Abschätzen von Wahrscheinlichkeiten
Formel 4-13: Geschätzte Wahrscheinlichkeit bei einem logistischen Regressionsmodell (Vektorschreibweise)
Formel 4-14: Logistische Funktion
Formel 4-15: Vorhersage eines logistischen Regressionsmodells
Trainieren und Kostenfunktion
Formel 4-16: Kostenfunktion eines einzelnen Trainingsdatenpunkts
Formel 4-17: Kostenfunktion bei der logistischen Regression (Log Loss)
Formel 4-18: Partielle Ableitungen der logistischen Kostenfunktion
Entscheidungsgrenzen
Softmax-Regression
Formel 4-19: Softmax-Score für Kategorie k
Formel 4-20: Softmax-Funktion
Formel 4-21: Vorhersage eines Klassifikators mit Softmax-Regression
Formel 4-22: Die Kreuzentropie als Kostenfunktion
Kreuzentropie
Formel 4-23: Gradientenvektor der Kreuzentropie für Kategorie k
Übungen
KAPITEL 5. Support Vector Machines
Lineare Klassifikation mit SVMs
Soft-Margin-Klassifikation
Nichtlineare SVM-Klassifikation
Polynomieller Kernel
Ähnlichkeitsbasierte Merkmale
Formel 5-1: Gaußsche RBF
Der gaußsche RBF-Kernel
Komplexität der Berechnung
SVM-Regression
Hinter den Kulissen
Entscheidungsfunktion und Vorhersagen
Formel 5-2: Vorhersage eines linearen SVM-Klassifikators
Zielfunktionen beim Trainieren
Formel 5-3: Zielfunktion eines linearen SVM-Klassifikators mit Hard-Margin
Formel 5-4: Zielfunktion eines linearen SVM-Klassifikators mit Soft-Margin
Quadratische Programme
Formel 5-5: Formulierung quadratischer Programme
Das duale Problem
Formel 5-6: Duale Form der Zielfunktion einer linearen SVM
Formel 5-7: Von der dualen Lösung zur primalen Lösung
Kernel-SVM
Formel 5-8: Polynomielle Zuordnung 2. Grades
Formel 5-9: Kerneltrick bei einer polynomiellen Zuordnung 2. Grades
Formel 5-10: Gebräuchliche Kernels
Mercers Theorem
Formel 5-11: Vorhersagen mit einer Kernel-SVM treffen
Formel 5-12: Berechnen des Bias-Terms mithilfe des Kerneltricks
Online-SVMs
Formel 5-13: Kostenfunktion eines linearen SVM-Klassifikators
Hinge Loss
Übungen
KAPITEL 6. Entscheidungsbäume
Trainieren und Visualisieren eines Entscheidungsbaums
Vorhersagen treffen
Formel 6-1: Gini-Unreinheit
Interpretation von Modellen: White Box im Vergleich zu Black Box
Schätzen von Wahrscheinlichkeiten für Kategorien
Der CART-Trainingsalgorithmus
Formel 6-2: Kostenfunktion des CART-Algorithmus zur Klassifikation
Komplexität der Berechnung
Gini-Unreinheit oder Entropie?
Formel 6-3: Entropie
Hyperparameter zur Regularisierung
Regression
Formel 6-4: CART-Kostenfunktion für die Regression
Instabilität
Übungen
KAPITEL 7. Ensemble Learning und Random Forests
Abstimmverfahren unter Klassifikatoren
Bagging und Pasting
Bagging und Pasting in Scikit-Learn
Out-of-Bag-Evaluation
Zufällige Patches und Subräume
Random Forests
Extra-Trees
Wichtigkeit von Merkmalen
Boosting
AdaBoost
Formel 7-1: Gewichtete Fehlerquote für den j. Prädiktor
Formel 7-2: Gewicht eines Prädiktors
Formel 7-3: Regel zum Aktualisieren der Gewichte
Formel 7-4: Vorhersagen mit AdaBoost
Gradient Boosting
Stacking
Übungen
KAPITEL 8. Dimensionsreduktion
Der Fluch der Dimensionalität
Die wichtigsten Ansätze zur Dimensionsreduktion
Projektion
Manifold Learning
Hauptkomponentenzerlegung (PCA)
Erhalten der Varianz
Hauptkomponenten
Formel 8-1: Matrix der Hauptkomponenten
Die Projektion auf d Dimensionen
Formel 8-2: Projektion des Trainingsdatensatzes auf d Dimensionen
Verwenden von Scikit-Learn
Der Anteil erklärter Varianz
Auswählen der richtigen Anzahl Dimensionen
PCA als Komprimierungsverfahren
Formel 8-3: Rücktransformation der Hauptkomponenten zur ursprünglichen Anzahl Dimensionen
Randomisierte PCA
Inkrementelle PCA
Kernel-PCA
Auswahl eines Kernels und Optimierung der Hyperparameter
LLE
Formel 8-4: LLE-Schritt 1: Ein lineares Modell der lokalen Nachbarschaftsbeziehungen
Formel 8-5: LLE-Schritt 2: Reduzieren der Dimensionalität unter Beibehaltung von Nachbarschaftsbeziehungen
Weitere Techniken zur Dimensionsreduktion
Übungen
KAPITEL 9. Techniken des unüberwachten Lernens
Clustering
K-Means
Der K-Means-Algorithmus
Methoden zur Schwerpunktinitialisierung
Accelerated K-Means und Mini-Batch-K-Means
Die optimale Zahl an Clustern finden
Grenzen von K-Means
Bildsegmentierung per Clustering
Vorverarbeitung per Clustering
Clustering für teilüberwachtes Lernen einsetzen
Aktives Lernen
DBSCAN
Andere Clustering-Algorithmen
Gaußsche Mischverteilung
Anomalieerkennung mit gaußschen Mischverteilungsmodellen
Die Anzahl an Clustern auswählen
Formel 9-1: Bayessches Informationskriterium (BIC) und Akaike-Informationskriterium
Likelihood-Funktion
Bayessche gaußsche Mischverteilungsmodelle
Formel 9-2: Satz von Bayes
Formel 9-3: Der Beweis, dass p(X) oft unlösbar ist
Formel 9-4: KL-Divergenz von q(z) nach p(z|X)
Andere Algorithmen zur Anomalie- und Novelty-Erkennung
Übungen
KAPITEL 10. Einführung in künstliche neuronale Netze mit Keras
Von biologischen zu künstlichen Neuronen
Biologische Neuronen
Logische Berechnungen mit Neuronen
Das Perzeptron
Formel 10-1: Häufig in Perzeptrons eingesetzte Aktivierungsfunktionen
Formel 10-2: Die Ausgabewerte einer vollständig verbundenen Schicht berechnen
Formel 10-3: Lernregel für Perzeptrons (Aktualisieren von Gewichten)
Mehrschichtiges Perzeptron und Backpropagation
Regressions-MLPs
Klassifikations-MLPs
MLPs mit Keras implementieren
TensorFlow 2 installieren
Einen Bildklassifikator mit der Sequential API erstellen
Den Datensatz mit Keras laden
Das Modell mit der Sequential API erstellen
Codebeispiele von keras.io verwenden
Das Modell kompilieren
Das Modell trainieren und auswerten
Mit dem Modell Vorhersagen treffen
Ein Regressions-MLP mit der Sequential API erstellen
Komplexe Modelle mit der Functional API bauen
Dynamische Modelle mit der Subclassing API bauen
Ein Modell sichern und wiederherstellen
Callbacks
TensorBoard zur Visualisierung verwenden
Feinabstimmung der Hyperparameter eines neuronalen Netzes
Anzahl verborgener Schichten
Anzahl Neuronen pro verborgene Schicht
Lernrate, Batchgröße und andere Hyperparameter
Übungen
KAPITEL 11. Trainieren von Deep-Learning-Netzen
Das Problem schwindender/explodierender Gradienten
Initialisierung nach Glorot und He
Formel 11-1: Initialisierung nach Glorot (beim Verwenden der logistischen Aktivierungsfunktion)
Nicht sättigende Aktivierungsfunktionen
Formel 11-2: ELU-Aktivierungsfunktion
Batchnormalisierung
Formel 11-3: Algorithmus zur Batchnormalisierung
Implementieren der Batchnormalisierung mit Keras
Gradient Clipping
Wiederverwenden vortrainierter Schichten
Transfer Learning mit Keras
Unüberwachtes Vortrainieren
Vortrainieren anhand einer Hilfsaufgabe
Schnellere Optimierer
Momentum Optimization
Formel 11-4: Moment-Algorithmus
Beschleunigter Gradient nach Nesterov
Formel 11-5: Algorithmus des beschleunigten Gradienten nach Nesterov
AdaGrad
Formel 11-6: AdaGrad-Algorithmus
RMSProp
Formel 11-7: RMSProp-Algorithmus
Adam-Optimierung
Formel 11-8: Adam-Algorithmus
Trainieren spärlicher Modelle
Scheduling der Lernrate
Vermeiden von Overfitting durch Regularisierung
ℓ1- und ℓ2-Regularisierung
Drop-out
Monte-Carlo-(MC-)-Drop-out
Max-Norm-Regularisierung
Zusammenfassung und praktische Tipps
Übungen
KAPITEL 12. Eigene Modelle und Training mit TensorFlow
Ein kurzer Überblick über TensorFlow
TensorFlow wie NumPy einsetzen
Tensoren und Operationen
Die Low-Level-API von Keras
Tensoren und NumPy
Typumwandlung
Variablen
Andere Datenstrukturen
Modelle und Trainingsalgorithmen anpassen
Eigene Verlustfunktion
Modelle mit eigenen Komponenten sichern und laden
Eigene Aktivierungsfunktionen, Initialisierer, Regularisierer und Constraints
Eigene Metriken
Eigene Schichten
Eigene Modelle
Verlustfunktionen und Metriken auf Modell-Interna basieren lassen
Gradienten per Autodiff berechnen
Eigene Trainingsschleifen
Funktionen und Graphen in TensorFlow
AutoGraph und Tracing
Regeln für TF Functions
Übungen
KAPITEL 13. Daten mit TensorFlow laden und vorverarbeiten
Die Data-API
Transformationen verketten
Daten durchmischen
Zeilen aus mehreren Dateien verschränken
Daten vorverarbeiten
Alles zusammenbringen
Prefetching
Datasets mit tf.keras verwenden
Das TFRecord-Format
Komprimierte TFRecord-Dateien
Eine kurze Einführung in Protocol Buffer
TensorFlow-Protobufs
Examples laden und parsen
Listen von Listen mit dem SequenceExample-Protobuf verarbeiten
Die Eingabemerkmale vorverarbeiten
Kategorische Merkmale mit One-Hot-Vektoren codieren
Kategorische Merkmale mit Embeddings codieren
Word Embeddings
Vorverarbeitungsschichten von Keras
TF Transform
Das TensorFlow-Datasets-(TFDS-)Projekt
Übungen
KAPITEL 14. Deep Computer Vision mit Convolutional Neural Networks
Der Aufbau des visuellen Cortex
Convolutional Layers
Filter
Stapeln mehrerer Feature Maps
Formel 14-1: Berechnung der Ausgabe eines Neurons in einem Convolutional Layer
Implementierung in TensorFlow
Speicherbedarf
Pooling Layers
Implementierung in TensorFlow
Architekturen von CNNs
LeNet-5
AlexNet
Data Augmentation
Formel 14-2: Local Response Normalization
GoogLeNet
VGGNet
ResNet
Xception
SENet
Ein ResNet-34-CNN mit Keras implementieren
Vortrainierte Modelle aus Keras einsetzen
Vortrainierte Modelle für das Transfer Learning
Klassifikation und Lokalisierung
Objekterkennung
Fully Convolutional Networks
You Only Look Once (YOLO)
Mean Average Precision (mAP)
Semantische Segmentierung
Convolution-Operationen in TensorFlow
Übungen
KAPITEL 15. Verarbeiten von Sequenzen mit RNNs und CNNs
Rekurrente Neuronen und Schichten
Formel 15-1: Ausgabe eines einzelnen rekurrenten Neurons für einen einzelnen Datenpunkt
Formel 15-2: Ausgabe einer Schicht rekurrenter Neuronen für alle Datenpunkte in einem Mini-Batch
Gedächtniszellen
Ein- und Ausgabesequenzen
RNNs trainieren
Eine Zeitserie vorhersagen
Grundlegende Metriken
Ein einfaches RNN implementieren
Trends und Saisonalität
Deep RNNs
Mehrere Zeitschritte vorhersagen
Arbeit mit langen Sequenzen
Gegen instabile Gradienten kämpfen
Das Problem des Kurzzeitgedächtnisses
LSTM-Zellen
Formel 15-3: LSTM-Berechnungen
Peephole-Verbindungen
GRU-Zellen
Formel 15-4: GRU-Berechnungen
Eindimensionale Convolutional Layers zum Verarbeiten von Sequenzen nutzen
WaveNet
Übungen
KAPITEL 16. Natürliche Sprachverarbeitung mit RNNs und Attention
Shakespearesche Texte mit einem Character-RNN erzeugen
Den Trainingsdatensatz erstellen
Wie ein sequenzieller Datensatz aufgeteilt wird
Den sequenziellen Datensatz in mehrere Fenster unterteilen
Das Char-RNN-Modell bauen und trainieren
Das Char-RNN-Modell verwenden
Einen gefälschten Shakespeare-Text erzeugen
Zustandsbehaftetes RNN
Sentimentanalyse
Maskieren
Vortrainierte Embeddings wiederverwenden
Ein Encoder-Decoder-Netzwerk für die neuronale maschinelle Übersetzung
Bidirektionale RNNs
Beam Search
Attention-Mechanismen
Formel 16-1: Attention-Mechanismen
Visuelle Attention
Explainability
Attention Is All You Need: Die Transformer-Architektur
Positional Encodings
Formel 16-2: Sinus und Kosinus für Positional Encodings
Multi-Head Attention
Formel 16-3: Scaled Dot-Product Attention
Aktuelle Entwicklungen bei Sprachmodellen
Übungen
KAPITEL 17. Representation Learning und Generative Learning mit Autoencodern und GANs
Effiziente Repräsentation von Daten
Hauptkomponentenzerlegung mit einem untervollständigen linearen Autoencoder
Stacked Autoencoder
Einen Stacked Autoencoder mit Keras implementieren
Visualisieren der Rekonstruktionen
Den Fashion-MNIST-Datensatz visualisieren
Unüberwachtes Vortrainieren mit Stacked Autoencoder
Kopplung von Gewichten
Trainieren mehrerer Autoencoder nacheinander
Convolutional Autoencoder
Rekurrente Autoencoder
Denoising Autoencoder
Sparse Autoencoder
Formel 17-1: Kullback-Leibler-Divergenz
Formel 17-2: KL-Divergenz zwischen der Zielspärlichkeit p und der tatsächlichen Spärlichkeit q
Variational Autoencoder
Formel 17-3: Latenter Verlust des Variational Autoencoder
Formel 17-4: Latenter Verlust des Variational Autoencoder, umgeschrieben mit γ = log(σ2)
Fashion-MNIST-Bilder erzeugen
Generative Adversarial Networks
Schwierigkeiten beim Trainieren von GANs
Deep Convolutional GANs
Progressive wachsende GANs
StyleGANs
Übungen
KAPITEL 18. Reinforcement Learning
Lernen zum Optimieren von Belohnungen
Suche nach Policies
Einführung in OpenAI Gym
Neuronale Netze als Policies
Auswerten von Aktionen: Das Credit-Assignment-Problem
Policy-Gradienten
Markov-Entscheidungsprozesse
Formel 18-1: Optimalitätsprinzip von Bellman
Formel 18-2: Value-Iteration-Algorithmus
Formel 18-3: Q-Wert-Iterationsalgorithmus
Temporal Difference Learning
Formel 18-4: TD Learning-Algorithmus
Q-Learning
Formel 18-5: Q-Learning-Algorithmus
Erkundungspolicies
Formel 18-6: Q-Learning mit einer Erkundungsfunktion
Approximatives Q-Learning und Deep-Q-Learning
Formel 18-7: Ziel-Q-Wert
Deep-Q-Learning implementieren
Deep-Q-Learning-Varianten
Feste Q-Wert-Ziele
Double DQN
Priorisiertes Experience Replay
Dueling DQN
Die TF-Agents-Bibliothek
TF-Agents installieren
TF-Agents-Umgebungen
Umgebungsspezifikationen
Umgebungswrapper und Atari-Vorverarbeitung
Trainingsarchitektur
Deep-Q-Netz erstellen
DQN-Agenten erstellen
Replay Buffer und Beobachter erstellen
Trainingsmetriken erstellen
Collect-Fahrer erstellen
Dataset erstellen
Trainingsschleife erstellen
Überblick über beliebte RL-Algorithmen
Übungen
KAPITEL 19. TensorFlow-Modelle skalierbar trainieren und deployen
Ein TensorFlow-Modell ausführen
TensorFlow Serving verwenden
SavedModels exportieren
TensorFlow Serving installieren
TF Serving über die REST-API abfragen
TF Serving über die gRPC-API abfragen
Eine neue Modellversion deployen
Einen Vorhersageservice auf der GCP AI Platform erstellen
Den Vorhersageservice verwenden
Ein Modell auf ein Mobile oder Embedded Device deployen
TensorFlow im Browser
Mit GPUs die Berechnungen beschleunigen
Sich eine eigene GPU zulegen
Eine mit GPU ausgestattete virtuelle Maschine einsetzen
Colaboratory
Das GPU-RAM verwalten
Operationen und Variablen auf Devices verteilen
Paralleles Ausführen auf mehreren Devices
Modelle auf mehreren Devices trainieren
Parallelisierte Modelle
Parallelisierte Daten
Parallelisierte Daten mit der Spiegel-Strategie
Parallelisierte Daten mit zentralisierten Parametern
Erschöpfen der Netzwerkbandbreite
Mit der Distribution Strategies API auf mehreren Devices trainieren
Ein Modell in einem TensorFlow-Cluster trainieren
Große Trainingsjobs auf der Google Cloud AI Platform ausführen
Black Box Hyperparameter Tuning auf der AI Platform
Übungen
Vielen Dank!
ANHANG A. Lösungen zu den Übungsaufgaben
Kapitel 1: Die Machine-Learning-Umgebung
Kapitel 2: Ein Machine-Learning-Projekt von A bis Z
Kapitel 3: Klassifikation
Kapitel 4: Trainieren von Modellen
Kapitel 5: Support Vector Machines
Kapitel 6: Entscheidungsbäume
Kapitel 7: Ensemble Learning und Random Forests
Kapitel 8: Dimensionsreduktion
Kapitel 9: Techniken des unüberwachten Lernens
Kapitel 10: Einführung in künstliche neuronale Netze mit Keras
Kapitel 11: Trainieren von Deep-Learning-Netzen
Kapitel 12: Eigene Modelle und Training mit TensorFlow
Kapitel 13: Daten mit TensorFlow laden und vorverarbeiten
Kapitel 14: Deep Computer Vision mit Convolutional Neural Networks
Kapitel 15: Verarbeiten von Sequenzen mit RNNs und CNNs
Kapitel 16: Natürliche Sprachverarbeitung mit RNNs und Attention
Kapitel 17: Representation Learning und Generative Learning mit Autoencodern und GANs
Kapitel 18: Reinforcement Learning
Kapitel 19: TensorFlow-Modelle skalierbar trainieren und deployen
ANHANG B. Checkliste für Machine-Learning-Projekte
Klären Sie die Aufgabenstellung und betrachten Sie die Gesamtsituation
Beschaffen Sie sich Daten
Erkunden Sie die Daten
Aufbereiten der Daten
Treffen Sie eine engere Auswahl vielversprechender Modelle
Optimieren des Systems
Stellen Sie Ihre Lösung vor
Start!
ANHANG C. Das duale Problem bei SVMs
Formel C-1: Allgemeine Lagrange-Funktion für das Hard-Margin-Problem
Formel C-2: Partielle Ableitungen der allgemeinen Lagrange-Funktion
Formel C-3: Eigenschaften der stationären Punkte
Formel C-4: Duale Form des SVM-Problems
Formel C-5: Abschätzung des Bias-Terms über die duale Form
ANHANG D. Autodiff
Differenzierung von Hand
Formel D-1: Partielle Ableitungen von f(x,y)
Finite-Differenzen-Methode
Formel D-2: Definition der Ableitung einer Funktion h(x,y) am Punkt x0
Autodiff im Forward-Modus
Formel D-3: Einige Rechenoperationen mit dualen Zahlen
Autodiff im Reverse-Modus
Formel D-4: Die Kettenregel
ANHANG E. Weitere verbreitete Architekturen neuronaler Netze
Hopfield-Netze
Boltzmann Machines
Formel E-1: Wahrscheinlichkeit, dass das ite Neuron eine 1 ausgibt
Restricted Boltzmann Machines
Formel E-2: Aktualisieren der Gewichte im Contrastive-Divergence-Algorithmus
Deep Belief Networks
Selbstorganisierende Karten
ANHANG F. Spezielle Datenstrukturen
Strings
Ragged-Tensoren
Sparse-Tensoren
Tensor-Arrays
Sets
Queues
ANHANG G. TensorFlow-Graphen
TF Functions und konkrete Funktionen
Funktionsdefinitionen und -graphen untersuchen
Tracing
Den Kontrollfluss mit AutoGraph erfassen
Variablen und andere Ressourcen in TF Functions
TF Functions mit tf.keras (nicht) verwenden
Fußnoten. Vorwort
Kapitel 1 Die Machine-Learning-Umgebung
Kapitel 2 Ein Machine-Learning-Projekt von A bis Z
Kapitel 3 Klassifikation
Kapitel 4 Trainieren von Modellen
Kapitel 5 Support Vector Machines
Kapitel 6 Entscheidungsbäume
Kapitel 7 Ensemble Learning und Random Forests
Kapitel 8 Dimensionsreduktion
Kapitel 9 Techniken des unüberwachten Lernens
Kapitel 10 Einführung in künstliche neuronale Netze mit Keras
Kapitel 11 Trainieren von Deep-Learning-Netzen
Kapitel 12 Eigene Modelle und Training mit TensorFlow
Kapitel 13 Daten mit TensorFlow laden und vorverarbeiten
Kapitel 14 Deep Computer Vision mit Convolutional Neural Networks
Kapitel 15 Verarbeiten von Sequenzen mit RNNs und CNNs
Kapitel 16 Natürliche Sprachverarbeitung mit RNNs und Attention
Kapitel 17 Representation Learning und Generative Learning mit Autoencodern und GANs
Kapitel 18 Reinforcement Learning
Kapitel 19 TensorFlow-Modelle skalierbar trainieren und deployen
Anhang A: Lösungen zu den Übungsaufgaben
Anhang B: Checkliste für Machine-Learning-Projekte
Anhang E: Weitere verbreitete Architekturen neuronaler Netze
Anhang F: Spezielle Datenstrukturen
Anhang G: TensorFlow-Graphen
Index. Symbole
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
Über den Autor
Über die Übersetzer
Kolophon
