Backpropagation în practică

Introducere în Deep Learning în Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_4_v2.002.png

Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.003.png

Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.004.png

Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.010.png

Introducere în Deep Learning în Python

Calculul pantelor asociate oricărei ponderi

  • Gradientul pentru o pondere este produsul dintre:
    1. Valoarea nodului care alimentează acea pondere
    2. Panta funcției de activare a nodului alimentat
    3. Panta funcției de pierdere față de nodul de ieșire
Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.016.png

Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.017.png

Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.018.png

Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.019.png

Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.020.png

Introducere în Deep Learning în Python

Backpropagation

ch2_4_v2.021.png

Introducere în Deep Learning în Python

Backpropagation: Recapitulare

  • Începeți cu un set aleatoriu de ponderi
  • Utilizați propagarea înainte pentru a face o predicție
  • Utilizați propagarea înapoi pentru a calcula panta funcției de pierdere față de fiecare pondere
  • Înmulțiți panta cu rata de învățare și scădeți din ponderile curente
  • Continuați ciclul până când se ajunge la o zonă plată
Introducere în Deep Learning în Python

Gradient descendent stochastic

  • Este frecvent să se calculeze gradienții pe un subset de date (un lot)
  • Se utilizează un alt lot de date pentru următoarea actualizare
  • Se reia de la început după utilizarea tuturor datelor
  • Fiecare parcurgere a datelor de antrenament se numește epocă
  • Când gradienții se calculează pe câte un lot: gradient descendent stochastic
Introducere în Deep Learning în Python

Să exersăm!

Introducere în Deep Learning în Python

Preparing Video For Download...