Hàm kích hoạt ReLU

Nhập môn Deep Learning với PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Hàm sigmoid và softmax

$$

  • SIGMOID cho phân loại NHỊ PHÂN

Mạng nơ-ron với hàm sigmoid

$$

  • SOFTMAX cho phân loại ĐA LỚP

Mạng nơ-ron với hàm softmax

Nhập môn Deep Learning với PyTorch

Hạn chế của sigmoid và softmax

Hàm sigmoid:

  • Đầu ra nằm trong [0, 1]
  • Dùng ở bất kỳ đâu trong mạng

Gradient:

  • Rất nhỏ khi x lớn hoặc nhỏ
  • Gây bão hòa, dẫn đến vấn đề tiêu biến gradient

$$

Hàm softmax cũng bị bão hòa

Hàm sigmoid

Nhập môn Deep Learning với PyTorch

ReLU

Rectified Linear Unit (ReLU):

  • f(x) = max(x, 0)
  • Với đầu vào dương: đầu ra bằng đầu vào
  • Với đầu vào âm: đầu ra bằng 0
  • Giúp khắc phục tiêu biến gradient

$$

Trong PyTorch:

relu = nn.ReLU()

Hàm ReLU

Nhập môn Deep Learning với PyTorch

Leaky ReLU

Leaky ReLU:

  • Đầu vào dương xử lý như ReLU
  • Đầu vào âm được nhân với hệ số nhỏ (mặc định 0.01)
  • Gradient cho đầu vào âm khác 0

$$

Trong PyTorch:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Nhập môn Deep Learning với PyTorch

Ayo berlatih!

Nhập môn Deep Learning với PyTorch

Preparing Video For Download...