Backpropagation

Introduzione al Deep Learning in Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_3_v2.003.png

Introduzione al Deep Learning in Python

Backpropagation

ch2_3_v2.004.png

Introduzione al Deep Learning in Python

Backpropagation

ch2_3_v2.005.png

Introduzione al Deep Learning in Python

Backpropagation

ch2_3_v2.006.png

  • Permette al gradient descent di aggiornare tutti i pesi nella rete neurale (calcolando i gradienti di tutti i pesi)
  • Deriva dalla regola della catena del calcolo
  • È utile capirne il processo, ma in pratica userai librerie che lo implementano
Introduzione al Deep Learning in Python

Processo di backpropagation

  • Stimiamo la pendenza della loss rispetto a ogni peso
  • Fai forward propagation per calcolare predizioni ed errori
Introduzione al Deep Learning in Python

Processo di backpropagation

ch2_3_v2.013.png

Introduzione al Deep Learning in Python

Processo di backpropagation

ch2_3_v2.014.png

Introduzione al Deep Learning in Python

Processo di backpropagation

  • Torna indietro uno strato alla volta
  • Il gradiente di un peso è il prodotto di:
    1. Valore del nodo in ingresso a quel peso
    2. Pendenza della loss rispetto al nodo di arrivo
    3. Pendenza dell'attivazione in quel nodo
Introduzione al Deep Learning in Python

Funzione di attivazione ReLU

ch2_3_v2.022.png

Introduzione al Deep Learning in Python

Processo di backpropagation

  • Tieni anche traccia delle pendenze della loss rispetto ai valori dei nodi
  • La pendenza di un nodo è la somma delle pendenze di tutti i pesi in uscita
Introduzione al Deep Learning in Python

Passons à la pratique !

Introduzione al Deep Learning in Python

Preparing Video For Download...