Rétropropagation

Introduction à Deep Learning en Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Rétropropagation

ch2_3_v2.003.png

Introduction à Deep Learning en Python

Rétropropagation

ch2_3_v2.004.png

Introduction à Deep Learning en Python

Rétropropagation

ch2_3_v2.005.png

Introduction à Deep Learning en Python

Rétropropagation

ch2_3_v2.006.png

  • Permet à la descente de gradient de mettre à jour tous les poids du réseau (en obtenant leurs gradients)
  • Découle de la règle de la chaîne en calcul
  • Il est utile d'en comprendre le principe, mais vous utiliserez en général une bibliothèque qui l'implémente
Introduction à Deep Learning en Python

Processus de rétropropagation

  • Estimer la pente de la fonction de perte par rapport à chaque poids
  • Faire une propagation avant pour calculer les prédictions et les erreurs
Introduction à Deep Learning en Python

Processus de rétropropagation

ch2_3_v2.013.png

Introduction à Deep Learning en Python

Processus de rétropropagation

ch2_3_v2.014.png

Introduction à Deep Learning en Python

Processus de rétropropagation

  • Revenir une couche à la fois
  • Le gradient d'un poids est le produit de :
    1. La valeur du nœud en entrée de ce poids
    2. La pente de la fonction de perte par rapport au nœud de destination
    3. La pente de la fonction d'activation à ce nœud
Introduction à Deep Learning en Python

Fonction d'activation ReLU

ch2_3_v2.022.png

Introduction à Deep Learning en Python

Processus de rétropropagation

  • Il faut aussi suivre les pentes de la fonction de perte par rapport aux valeurs des nœuds
  • La pente d'un nœud est la somme des pentes de tous les poids qui en partent
Introduction à Deep Learning en Python

Passons à la pratique !

Introduction à Deep Learning en Python

Preparing Video For Download...