ReLU 活化函式

使用 PyTorch 的深度學習入門

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Sigmoid 與 softmax 函式

$$

  • SIGMOID：用於 BINARY 分類

帶有 sigmoid 函式的神經網路

$$

  • SOFTMAX：用於 MULTI-CLASS 分類

帶有 softmax 函式的神經網路

使用 PyTorch 的深度學習入門

Sigmoid 與 softmax 的限制

Sigmoid 函式：

  • 輸出介於 0 到 1 之間
  • 可用於網路中的任一處

梯度：

  • 在 x 很大或很小時非常微小
  • 造成飽和，引發梯度消失問題

$$

softmax 也會有飽和問題

Sigmoid 函式

使用 PyTorch 的深度學習入門

ReLU

Rectified Linear Unit（ReLU）：

  • f(x) = max(x, 0)
  • 正輸入：輸出等於輸入
  • 負輸入：輸出為 0
  • 有助於緩解梯度消失

$$

在 PyTorch 中：

relu = nn.ReLU()

ReLU 函式

使用 PyTorch 的深度學習入門

Leaky ReLU

Leaky ReLU：

  • 正輸入的行為與 ReLU 相同
  • 負輸入會乘上一個很小的係數（預設 0.01）
  • 負輸入的梯度為非零

$$

在 PyTorch 中：

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

使用 PyTorch 的深度學習入門

一起來練習吧！

使用 PyTorch 的深度學習入門

Preparing Video For Download...