Функції активації ReLU

Вступ до Deep Learning з PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Функції sigmoid і softmax

$$

  • SIGMOID для БІНАРНОЇ класифікації

Нейромережа з функцією sigmoid

$$

  • SOFTMAX для БАГАТОКЛАСОВОЇ класифікації

Нейромережа з функцією softmax

Вступ до Deep Learning з PyTorch

Обмеження функцій sigmoid і softmax

Функція sigmoid:

  • Вихід у межах від 0 до 1
  • Можна використовувати будь-де в мережі

Градієнти:

  • Дуже малі для великих і малих значень x
  • Спричиняють насичення, що веде до проблеми зникних градієнтів

$$

Функція softmax також страждає від насичення

Функція sigmoid

Вступ до Deep Learning з PyTorch

ReLU

Rectified Linear Unit (ReLU):

  • f(x) = max(x, 0)
  • Для додатних вхідних значень: вихід дорівнює входу
  • Для від'ємних вхідних значень: вихід 0
  • Допомагає долати зникні градієнти

$$

У PyTorch:

relu = nn.ReLU()

Функція ReLU

Вступ до Deep Learning з PyTorch

Leaky ReLU

Leaky ReLU:

  • Додатні входи поводяться як у ReLU
  • Від'ємні входи множаться на малий коефіцієнт (типово 0,01)
  • Градієнти для від'ємних входів ненульові

$$

У PyTorch:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Вступ до Deep Learning з PyTorch

Давайте потренуємось!

Вступ до Deep Learning з PyTorch

Preparing Video For Download...