Retropropagare

Introducere în Deep Learning în Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Retropropagare

ch2_3_v2.003.png

Introducere în Deep Learning în Python

Retropropagare

ch2_3_v2.004.png

Introducere în Deep Learning în Python

Retropropagare

ch2_3_v2.005.png

Introducere în Deep Learning în Python

Retropropagare

ch2_3_v2.006.png

  • Permite gradientului descendent să actualizeze toate ponderile din rețeaua neuronală (prin calcularea gradienților pentru toate ponderile)
  • Se bazează pe regula lanțului din calcul diferențial
  • Important de înțeles procesul, dar în practică se utilizează de obicei o bibliotecă specializată
Introducere în Deep Learning în Python

Procesul de retropropagare

  • Se estimează panta funcției de pierdere față de fiecare pondere
  • Se efectuează propagarea înainte pentru a calcula predicțiile și erorile
Introducere în Deep Learning în Python

Procesul de retropropagare

ch2_3_v2.013.png

Introducere în Deep Learning în Python

Procesul de retropropagare

ch2_3_v2.014.png

Introducere în Deep Learning în Python

Procesul de retropropagare

  • Parcurgeți câte un strat înapoi
  • Gradientul pentru o pondere este produsul dintre:
    1. Valoarea nodului care alimentează acea pondere
    2. Panta funcției de pierdere față de nodul în care se propagă
    3. Panta funcției de activare la nodul în care se propagă
Introducere în Deep Learning în Python

Funcția de activare ReLU

ch2_3_v2.022.png

Introducere în Deep Learning în Python

Procesul de retropropagare

  • Este necesară și urmărirea pantelor funcției de pierdere față de valorile nodurilor
  • Panta valorilor unui nod este suma pantelor tuturor ponderilor care ies din acesta
Introducere în Deep Learning în Python

Să exersăm!

Introducere în Deep Learning în Python

Preparing Video For Download...