Aktivační funkce ReLU

Introduction to Deep Learning with PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Funkce sigmoid a softmax

$$

  • SIGMOID pro BINÁRNÍ klasifikaci

Neuronová síť se sigmoidní funkcí

$$

  • SOFTMAX pro VÍCETŘÍDNÍ klasifikaci

Neuronová síť se softmax funkcí

Introduction to Deep Learning with PyTorch

Omezení funkcí sigmoid a softmax

Funkce sigmoid:

  • Výstupy omezeny mezi 0 a 1
  • Použitelná kdekoliv v síti

Gradienty:

  • Velmi malé pro velké a malé hodnoty x
  • Způsobují saturaci, která vede k problému mizejících gradientů

$$

Funkce softmax trpí také saturací

Funkce sigmoid

Introduction to Deep Learning with PyTorch

ReLU

Rektifikovaná lineární jednotka (ReLU):

  • f(x) = max(x, 0)
  • Pro kladné vstupy: výstup se rovná vstupu
  • Pro záporné vstupy: výstup je 0
  • Pomáhá překonat mizející gradienty

$$

V PyTorchi:

relu = nn.ReLU()

Funkce ReLU

Introduction to Deep Learning with PyTorch

Leaky ReLU

Leaky ReLU:

  • Kladné vstupy se chovají jako ReLU
  • Záporné vstupy jsou škálovány malým koeficientem (výchozí 0,01)
  • Gradienty pro záporné vstupy jsou nenulové

$$

V PyTorchi:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Introduction to Deep Learning with PyTorch

Pojďme si procvičit!

Introduction to Deep Learning with PyTorch

Preparing Video For Download...