ReLU 激活函数

使用 PyTorch 的深度学习入门

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Sigmoid 与 Softmax 函数

$$

  • SIGMOID 用于二分类

带有 sigmoid 的神经网络

$$

  • SOFTMAX 用于多分类

带有 softmax 的神经网络

使用 PyTorch 的深度学习入门

Sigmoid 与 Softmax 的局限

Sigmoid 函数：

  • 输出在 0 到 1 之间
  • 可用于网络的任意位置

梯度：

  • 当 x 很大或很小时非常小
  • 导致饱和，出现梯度消失问题

$$

Softmax 也会出现饱和

Sigmoid 函数

使用 PyTorch 的深度学习入门

ReLU

Rectified Linear Unit（ReLU）：

  • f(x) = max(x, 0)
  • 正输入：输出等于输入
  • 负输入：输出为 0
  • 有助于缓解梯度消失

$$

在 PyTorch 中：

relu = nn.ReLU()

ReLU 函数

使用 PyTorch 的深度学习入门

Leaky ReLU

Leaky ReLU：

  • 正输入与 ReLU 相同
  • 负输入按小系数缩放（默认 0.01）
  • 负输入的梯度为非零

$$

在 PyTorch 中：

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

使用 PyTorch 的深度学习入门

开始练习吧！

使用 PyTorch 的深度学习入门

Preparing Video For Download...