Backpropagation

Einführung in Deep Learning mit Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_3_v2.003.png

Einführung in Deep Learning mit Python

Backpropagation

ch2_3_v2.004.png

Einführung in Deep Learning mit Python

Backpropagation

ch2_3_v2.005.png

Einführung in Deep Learning mit Python

Backpropagation

ch2_3_v2.006.png

  • Ermöglicht Gradientenabstieg, alle Gewichte im Netz zu updaten (durch Gradienten für alle Gewichte)
  • Stammt aus der Kettenregel der Analysis
  • Prozess verstehen ist wichtig, aber meist nutzt du eine Bibliothek dafür
Einführung in Deep Learning mit Python

Backpropagation-Prozess

  • Schätze die Steigung der Loss-Funktion bzgl. jedes Gewichts
  • Führe Forward Propagation aus, um Vorhersagen und Fehler zu berechnen
Einführung in Deep Learning mit Python

Backpropagation-Prozess

ch2_3_v2.013.png

Einführung in Deep Learning mit Python

Backpropagation-Prozess

ch2_3_v2.014.png

Einführung in Deep Learning mit Python

Backpropagation-Prozess

  • Gehe schichtweise zurück
  • Gradienten für ein Gewicht = Produkt aus:
    1. Knotenwert, der in das Gewicht fließt
    2. Steigung der Loss-Funktion bzgl. des Zielknotens
    3. Steigung der Aktivierungsfunktion am Zielknoten
Einführung in Deep Learning mit Python

ReLU-Aktivierungsfunktion

ch2_3_v2.022.png

Einführung in Deep Learning mit Python

Backpropagation-Prozess

  • Auch die Steigungen der Loss-Funktion bzgl. der Knotenwerte mitverfolgen
  • Steigung eines Knotenwerts = Summe der Steigungen aller ausgehenden Gewichte
Einführung in Deep Learning mit Python

Lass uns üben!

Einführung in Deep Learning mit Python

Preparing Video For Download...