ฟังก์ชัน Activation แบบ ReLU

Deep Learning เบื้องต้นด้วย PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

ฟังก์ชัน Sigmoid และ Softmax

$$

  • SIGMOID สำหรับการจำแนกประเภทแบบ BINARY

โครงข่ายประสาทเทียมที่ใช้ฟังก์ชัน sigmoid

$$

  • SOFTMAX สำหรับการจำแนกประเภทแบบ MULTI-CLASS

โครงข่ายประสาทเทียมที่ใช้ฟังก์ชัน softmax

Deep Learning เบื้องต้นด้วย PyTorch

ข้อจำกัดของฟังก์ชัน Sigmoid และ Softmax

ฟังก์ชัน Sigmoid:

  • ค่าเอาต์พุตอยู่ในช่วง 0 ถึง 1
  • ใช้งานได้ในทุกตำแหน่งของโครงข่าย

Gradient:

  • มีค่าน้อยมากเมื่อ x มีค่ามากหรือน้อยเกินไป
  • ทำให้เกิด Saturation ซึ่งนำไปสู่ปัญหา Vanishing Gradients

$$

ฟังก์ชัน Softmax ก็ประสบปัญหา Saturation เช่นกัน

ฟังก์ชัน sigmoid

Deep Learning เบื้องต้นด้วย PyTorch

ReLU

Rectified Linear Unit (ReLU):

  • f(x) = max(x, 0)
  • อินพุตบวก: เอาต์พุตเท่ากับอินพุต
  • อินพุตลบ: เอาต์พุตเป็น 0
  • ช่วยแก้ปัญหา Vanishing Gradients

$$

ใน PyTorch:

relu = nn.ReLU()

ฟังก์ชัน ReLU

Deep Learning เบื้องต้นด้วย PyTorch

Leaky ReLU

Leaky ReLU:

  • อินพุตบวก ทำงานเหมือน ReLU
  • อินพุตลบ ถูกปรับขนาดด้วยค่าสัมประสิทธิ์เล็กน้อย (ค่าเริ่มต้น 0.01)
  • Gradient สำหรับอินพุตลบ ไม่เป็นศูนย์

$$

ใน PyTorch:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

Deep Learning เบื้องต้นด้วย PyTorch

มาฝึกกันเถอะ!

Deep Learning เบื้องต้นด้วย PyTorch

Preparing Video For Download...