Fonctions d'activation ReLU

Introduction au Deep Learning avec PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Fonctions sigmoïde et softmax

$$

  • SIGMOÏDE pour la classification BINAIRE

Un réseau de neurones avec fonction sigmoïde

$$

  • SOFTMAX pour la classification MULTICLASS

Un réseau de neurones avec fonction softmax

Introduction au Deep Learning avec PyTorch

Limites des fonctions sigmoïde et softmax

Fonction sigmoïde :

  • Sorties bornées entre 0 et 1
  • Utilisable partout dans un réseau

Gradients :

  • Très petits pour de grandes et de petites valeurs de x
  • Provoquent une saturation, menant au problème de gradients évanescents

$$

La fonction softmax souffre aussi de saturation

La fonction sigmoïde

Introduction au Deep Learning avec PyTorch

ReLU

Unité linéaire rectifiée (Rectified Linear Unit, ReLU) :

  • f(x) = max(x, 0)
  • Entrées positives : la sortie égale l'entrée
  • Entrées négatives : la sortie est 0
  • Aide à contrer les gradients évanescents

$$

Dans PyTorch :

relu = nn.ReLU()

Fonction ReLU

Introduction au Deep Learning avec PyTorch

Leaky ReLU

Leaky ReLU :

  • Entrées positives comme ReLU
  • Entrées négatives multipliées par un petit coefficient (par défaut 0,01)
  • Les gradients pour les entrées négatives sont non nuls

$$

Dans PyTorch :

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Introduction au Deep Learning avec PyTorch

Passons à la pratique !

Introduction au Deep Learning avec PyTorch

Preparing Video For Download...