Descente de gradient

Introduction à Deep Learning en Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

• Si la pente est positive :
  • Aller à l'opposé de la pente signifie diminuer la valeur
  • Soustraire la pente de la valeur actuelle
  • Un pas trop grand peut nous dévier
• Solution : taux d’apprentissage
  • Mettre à jour chaque poids en soustrayant taux d’apprentissage * pente

Exemple de calcul de pente

• Pour calculer la pente d’un poids, il faut multiplier :
  • La pente de la fonction de perte par rapport à la valeur au nœud où l’on entre
  • La valeur du nœud qui alimente notre poids
  • La pente de la fonction d’activation par rapport à la valeur en entrée

Exemple de calcul de pente

• Pour calculer la pente d’un poids, il faut multiplier :
  • La pente de la fonction de perte par rapport à la valeur au nœud d’entrée
  • La valeur du nœud qui alimente notre poids
  • La pente de la fonction d’activation par rapport à la valeur en entrée

Exemple de calcul de pente

• Pente de la perte quadratique moyenne par rapport à la prédiction :
  • 2 (Valeur prédite − Valeur réelle) = 2 Erreur
  • 2 * -4

Exemple de calcul de pente

• Pour calculer la pente d’un poids, il faut multiplier :
  • La pente de la fonction de perte par rapport à la valeur au nœud d’entrée
  • La valeur du nœud qui alimente notre poids
  • La pente de la fonction d’activation par rapport à la valeur en entrée

Exemple de calcul de pente

• Pour calculer la pente d’un poids, il faut multiplier :
  • La pente de la fonction de perte par rapport à la valeur au nœud d’entrée
  • La valeur du nœud qui alimente notre poids
  • La pente de la fonction d’activation par rapport à la valeur en entrée

Exemple de calcul de pente

• Pour calculer la pente d’un poids, il faut multiplier :
  • La pente de la fonction de perte par rapport à la valeur au nœud d’entrée
  • La valeur du nœud qui alimente notre poids
  • La pente de la fonction d’activation par rapport à la valeur en entrée

Exemple de calcul de pente

• Pour calculer la pente d’un poids, il faut multiplier :
  • La pente de la fonction de perte par rapport à la valeur au nœud d’entrée
  • La valeur du nœud qui alimente notre poids
  • La pente de la fonction d’activation par rapport à la valeur en entrée

Exemple de calcul de pente

• 2 * -4 * 3
• -24
• Si le taux d’apprentissage est 0.01, le nouveau poids serait
• 2 - 0.01(-24) = 2.24

Réseau avec deux entrées influençant la prédiction

Code pour calculer les pentes et mettre à jour les poids

import numpy as np
weights = np.array([1, 2])
input_data = np.array([3, 4])
target = 6
learning_rate = 0.01
preds = (weights * input_data).sum()
error = preds - target

print(error)

5

Code pour calculer les pentes et mettre à jour les poids

gradient = 2 * input_data * error

gradient

array([30, 40])

weights_updated = weights - learning_rate * gradient
preds_updated = (weights_updated * input_data).sum()
error_updated = preds_updated - target

print(error_updated)

2.5

Passons à la pratique !

Introduction à Deep Learning en Python