Backpropagation i praktiken

Introduktion till djupinlärning i Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_4_v2.002.png

Backpropagation

ch2_4_v2.003.png

Backpropagation

ch2_4_v2.004.png

Backpropagation

ch2_4_v2.010.png

Beräkna lutningar för en given vikt

Gradienten för en vikt är produkten av:
1. Värdet i noden som matar in till vikten
2. Aktivitetsfunktionens lutning för noden som matas in
3. Förlustfunktionens lutning med avseende på utdatanoden

Backpropagation

ch2_4_v2.016.png

Backpropagation

ch2_4_v2.017.png

Backpropagation

ch2_4_v2.018.png

Backpropagation

ch2_4_v2.019.png

Backpropagation

ch2_4_v2.020.png

Backpropagation

ch2_4_v2.021.png

Backpropagation: sammanfattning

Börja med en slumpmässig uppsättning vikter
Använd framåtpropagering för att göra en prediktion
Använd backpropagation för att beräkna förlustfunktionens lutning med avseende på varje vikt
Multiplicera lutningen med inlärningshastigheten och subtrahera från de aktuella vikterna
Upprepa cykeln tills ett platt område nås

Stokastisk gradientnedstigning

Lutningar beräknas vanligtvis på en delmängd av data (en batch)
Använd en ny batch för att beräkna nästa uppdatering
Börja om från början när all data har använts
Varje genomgång av träningsdata kallas en epok
När lutningar beräknas en batch i taget: stokastisk gradientnedstigning

Nu kör vi en övning!

Introduktion till djupinlärning i Python

Preparing Video For Download...