La rétropropagation en pratique

Introduction au Deep Learning en Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_4_v2.002.png

Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.003.png

Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.004.png

Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.010.png

Introduction au Deep Learning en Python

Calcul des pentes associées à un poids quelconque

  • Les gradients pour le poids sont le résultat de :
    1. Valeur du nœud alimentant ce poids
    2. Pente de la fonction d'activation pour le nœud alimenté
    3. Pente de la fonction de perte par rapport au nœud de sortie
Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.016.png

Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.017.png

Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.018.png

Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.019.png

Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.020.png

Introduction au Deep Learning en Python

Backpropagation

ch2_4_v2.021.png

Introduction au Deep Learning en Python

Rétropropagation : Résumé

  • Commencer par un ensemble aléatoire de poids
  • Utiliser la propagation vers l'avant pour effectuer une prédiction
  • Utiliser la propagation vers l’arrière pour calculer la pente de la fonction de perte par rapport à chaque poids
  • Multiplier cette pente par le taux d'apprentissage et la soustraire des poids actuels
  • Continuer ce cycle jusqu'à ce que nous arrivions à une partie plane
Introduction au Deep Learning en Python

Descente stochastique du gradient

  • Il est courant de calculer les pentes uniquement sur un sous-ensemble de données (un lot)
  • Utiliser un autre lot de données pour calculer la prochaine mise à jour
  • Recommencer depuis le début une fois que toutes les données auront été utilisées
  • Chaque passage sur les données d'entraînement est appelé une époque
  • Lorsque les pentes sont calculées sur un lot à la fois : descente stochastique du gradient
Introduction au Deep Learning en Python

Passons à la pratique !

Introduction au Deep Learning en Python

Preparing Video For Download...