Backpropagation

Introduktion till djupinlärning i Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

Backpropagation

Backpropagation

Backpropagation

• Gör det möjligt för gradientinlärning att uppdatera alla vikter i det neurala nätverket (genom att beräkna gradienter för samtliga vikter)
• Bygger på kedjeregeln inom differentialkalkyl
• Viktigt att förstå processen, men i praktiken används vanligtvis ett bibliotek som implementerar detta

Backpropagationsprocessen

• Syftar till att skatta lutningen hos förlustfunktionen med avseende på varje vikt
• Utför framåtpropagering för att beräkna prediktioner och fel

Backpropagationsprocessen

Backpropagationsprocessen

Backpropagationsprocessen

• Gå tillbaka ett lager i taget
• Gradienten för en vikt är produkten av:
  1. Nodvärdet som matas in i den vikten
  2. Lutningen hos förlustfunktionen med avseende på den nod vikten matar in i
  3. Lutningen hos aktiveringsfunktionen i den noden

ReLU-aktiveringsfunktionen

Backpropagationsprocessen

• Håll även koll på lutningarna hos förlustfunktionen med avseende på nodvärden
• Lutningen för ett nodvärde är summan av lutningarna för alla vikter som utgår från noden

Nu kör vi en övning!

Introduktion till djupinlärning i Python