Funkcje aktywacji ReLU

Wprowadzenie do uczenia głębokiego z PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Funkcje sigmoid i softmax

$$

  • SIGMOID dla klasyfikacji BINARNEJ

Sieć neuronowa z funkcją sigmoid

$$

  • SOFTMAX dla klasyfikacji WIELOKLASOWEJ

Sieć neuronowa z funkcją softmax

Wprowadzenie do uczenia głębokiego z PyTorch

Ograniczenia funkcji sigmoid i softmax

Funkcja sigmoid:

  • Wyjścia ograniczone do przedziału 0–1
  • Można stosować w dowolnym miejscu sieci

Gradienty:

  • Bardzo małe dla dużych i małych wartości x
  • Powodują nasycenie, prowadząc do problemu zanikających gradientów

$$

Funkcja softmax również podlega nasyceniu

Funkcja sigmoid

Wprowadzenie do uczenia głębokiego z PyTorch

ReLU

Jednostka liniowa z progiem (ReLU):

  • f(x) = max(x, 0)
  • Wejścia dodatnie: wyjście równa się wejściu
  • Wejścia ujemne: wyjście wynosi 0
  • Pomaga pokonać problem zanikających gradientów

$$

W PyTorch:

relu = nn.ReLU()

Funkcja ReLU

Wprowadzenie do uczenia głębokiego z PyTorch

Leaky ReLU

Leaky ReLU:

  • Wejścia dodatnie działają jak ReLU
  • Wejścia ujemne są skalowane przez mały współczynnik (domyślnie 0,01)
  • Gradienty dla wejść ujemnych są niezerowe

$$

W PyTorch:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Wprowadzenie do uczenia głębokiego z PyTorch

Czas na ćwiczenia!

Wprowadzenie do uczenia głębokiego z PyTorch

Preparing Video For Download...