Backpropagation

Introducción al Deep Learning en Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_3_v2.003.png

Introducción al Deep Learning en Python

Backpropagation

ch2_3_v2.004.png

Introducción al Deep Learning en Python

Backpropagation

ch2_3_v2.005.png

Introducción al Deep Learning en Python

Backpropagation

ch2_3_v2.006.png

  • Permite que descenso por gradiente actualice todos los pesos (obteniendo gradientes para todos)
  • Deriva de la regla de la cadena del cálculo
  • Importa entender el proceso, pero normalmente usarás una librería que lo implementa
Introducción al Deep Learning en Python

Proceso de backpropagation

  • Estima la pendiente de la pérdida respecto a cada peso
  • Haz propagación hacia delante para calcular predicciones y errores
Introducción al Deep Learning en Python

Proceso de backpropagation

ch2_3_v2.013.png

Introducción al Deep Learning en Python

Proceso de backpropagation

ch2_3_v2.014.png

Introducción al Deep Learning en Python

Proceso de backpropagation

  • Vuelve una capa cada vez
  • El gradiente de un peso es el producto de:
    1. Valor del nodo que entra en ese peso
    2. Pendiente de la función de pérdida respecto al nodo de destino
    3. Pendiente de la activación en ese nodo
Introducción al Deep Learning en Python

Función de activación ReLU

ch2_3_v2.022.png

Introducción al Deep Learning en Python

Proceso de backpropagation

  • También hay que registrar las pendientes de la pérdida respecto a los valores de los nodos
  • La pendiente de un nodo es la suma de las pendientes de todos los pesos que salen de él
Introducción al Deep Learning en Python

¡Vamos a practicar!

Introducción al Deep Learning en Python

Preparing Video For Download...