Backpropagation

Introductie tot Deep Learning in Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_3_v2.003.png

Introductie tot Deep Learning in Python

Backpropagation

ch2_3_v2.004.png

Introductie tot Deep Learning in Python

Backpropagation

ch2_3_v2.005.png

Introductie tot Deep Learning in Python

Backpropagation

ch2_3_v2.006.png

  • Laat gradient descent alle gewichten in het netwerk updaten (door gradiënten voor alle gewichten te krijgen)
  • Gebaseerd op de kettingregel uit de calculus
  • Belangrijk om het proces te snappen, maar je gebruikt meestal een library die dit implementeert
Introductie tot Deep Learning in Python

Backpropagation-proces

  • We schatten de helling van de verliesfunctie t.o.v. elk gewicht
  • Doe forward propagation om voorspellingen en fouten te berekenen
Introductie tot Deep Learning in Python

Backpropagation-proces

ch2_3_v2.013.png

Introductie tot Deep Learning in Python

Backpropagation-proces

ch2_3_v2.014.png

Introductie tot Deep Learning in Python

Backpropagation-proces

  • Ga laag voor laag terug
  • Gradiënt van een gewicht is het product van:
    1. Knoopwaarde die het gewicht in gaat
    2. Helling van de verliesfunctie t.o.v. de knoop erna
    3. Helling van de activatiefunctie bij die knoop
Introductie tot Deep Learning in Python

ReLU-activatiefunctie

ch2_3_v2.022.png

Introductie tot Deep Learning in Python

Backpropagation-proces

  • Houd ook de hellingen van de verliesfunctie t.o.v. knoopwaarden bij
  • Helling van een knoopwaarde is de som van de hellingen van alle uitgaande gewichten
Introductie tot Deep Learning in Python

Laten we oefenen!

Introductie tot Deep Learning in Python

Preparing Video For Download...