Backpropagation

Introduction au Deep Learning en Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_3_v2.003.png

Introduction au Deep Learning en Python

Backpropagation

ch2_3_v2.004.png

Introduction au Deep Learning en Python

Backpropagation

ch2_3_v2.005.png

Introduction au Deep Learning en Python

Backpropagation

ch2_3_v2.006.png

  • Permet à la descente de gradient de mettre à jour tous les poids dans le réseau neuronal (en obtenant les gradients pour tous les poids)
  • Provient de la règle de la chaîne en calcul différentiel
  • Il est important de comprendre le processus, mais vous utiliserez généralement une bibliothèque qui implémente cela
Introduction au Deep Learning en Python

Processus de rétropropagation

  • Tentative d'estimation de la pente de la fonction de perte par rapport à chaque poids
  • Effectuer une propagation vers l'avant pour calculer les prédictions et les erreurs
Introduction au Deep Learning en Python

Processus de rétropropagation

ch2_3_v2.013.png

Introduction au Deep Learning en Python

Processus de rétropropagation

ch2_3_v2.014.png

Introduction au Deep Learning en Python

Processus de rétropropagation

  • Revenir en arrière une couche à la fois
  • Les gradients pour le poids sont le résultat de :
    1. Valeur du nœud alimentant ce poids
    2. Pente de la fonction de perte par rapport au nœud auquel elle est reliée
    3. Pente de la fonction d'activation au niveau du nœud qu'elle alimente
Introduction au Deep Learning en Python

Fonction d'activation ReLU

ch2_3_v2.022.png

Introduction au Deep Learning en Python

Processus de rétropropagation

  • Il est également nécessaire de suivre les pentes de la fonction de perte par rapport aux valeurs des nœuds
  • La pente des valeurs des nœuds correspond à la somme des pentes de tous les poids qui en découlent
Introduction au Deep Learning en Python

Passons à la pratique !

Introduction au Deep Learning en Python

Preparing Video For Download...