Backpropagation

Introdução a Deep Learning em Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_3_v2.003.png

Introdução a Deep Learning em Python

Backpropagation

ch2_3_v2.004.png

Introdução a Deep Learning em Python

Backpropagation

ch2_3_v2.005.png

Introdução a Deep Learning em Python

Backpropagation

ch2_3_v2.006.png

  • Permite que o gradiente descendente atualize todos os pesos da rede (obtendo os gradientes de todos)
  • Vem da regra da cadeia, do cálculo
  • É importante entender o processo, mas em geral você usará uma biblioteca que faz isso
Introdução a Deep Learning em Python

Processo de backpropagation

  • Queremos estimar a inclinação da loss em relação a cada peso
  • Faça a propagação direta para calcular previsões e erros
Introdução a Deep Learning em Python

Processo de backpropagation

ch2_3_v2.013.png

Introdução a Deep Learning em Python

Processo de backpropagation

ch2_3_v2.014.png

Introdução a Deep Learning em Python

Processo de backpropagation

  • Volte uma camada por vez
  • O gradiente de um peso é o produto de:
    1. Valor do nó que alimenta esse peso
    2. Inclinação da loss em relação ao nó de destino
    3. Inclinação da função de ativação nesse nó
Introdução a Deep Learning em Python

Função de ativação ReLU

ch2_3_v2.022.png

Introdução a Deep Learning em Python

Processo de backpropagation

  • Também é preciso rastrear as inclinações da loss em relação aos valores dos nós
  • A inclinação de um nó é a soma das inclinações de todos os pesos que saem dele
Introdução a Deep Learning em Python

Vamos praticar!

Introdução a Deep Learning em Python

Preparing Video For Download...