Функции активации ReLU

Введение в глубокое обучение с PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Функции sigmoid и softmax

$$

  • SIGMOID для БИНАРНОЙ классификации

Нейронная сеть с функцией sigmoid

$$

  • SOFTMAX для МНОГОКЛАССОВОЙ классификации

Нейронная сеть с функцией softmax

Введение в глубокое обучение с PyTorch

Ограничения функций sigmoid и softmax

Функция sigmoid:

  • Выходные значения ограничены диапазоном от 0 до 1
  • Применима в любом слое сети

Градиенты:

  • Очень малы при больших и малых значениях x
  • Вызывают насыщение, что приводит к проблеме затухающих градиентов

$$

Функция softmax также подвержена насыщению

Функция sigmoid

Введение в глубокое обучение с PyTorch

ReLU

Rectified Linear Unit (ReLU):

  • f(x) = max(x, 0)
  • Для положительных входов: выход равен входу
  • Для отрицательных входов: выход равен 0
  • Помогает решить проблему затухающих градиентов

$$

В PyTorch:

relu = nn.ReLU()

Функция ReLU

Введение в глубокое обучение с PyTorch

Leaky ReLU

Leaky ReLU:

  • Положительные входы обрабатываются как в ReLU
  • Отрицательные входы масштабируются небольшим коэффициентом (по умолчанию 0,01)
  • Градиенты для отрицательных входов ненулевые

$$

В PyTorch:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Введение в глубокое обучение с PyTorch

Давайте потренируемся!

Введение в глубокое обучение с PyTorch

Preparing Video For Download...