ReLU 활성화 함수

PyTorch로 배우는 딥러닝 입문

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

시그모이드와 소프트맥스 함수

$$

  • 이진 분류에는 SIGMOID

시그모이드가 있는 신경망

$$

  • 다중 클래스 분류에는 SOFTMAX

소프트맥스가 있는 신경망

PyTorch로 배우는 딥러닝 입문

시그모이드와 소프트맥스의 한계

시그모이드 함수:

  • 출력은 0~1로 제한
  • 네트워크 어디서나 사용 가능

그래디언트:

  • x가 매우 크거나 작을 때 아주 작음
  • 포화를 일으켜 기울기 소실 문제 발생

$$

소프트맥스도 포화 문제가 있습니다

시그모이드 함수

PyTorch로 배우는 딥러닝 입문

ReLU

Rectified Linear Unit (ReLU):

  • f(x) = max(x, 0)
  • 양의 입력: 출력 = 입력
  • 음의 입력: 출력 = 0
  • 기울기 소실 완화에 도움

$$

PyTorch에서:

relu = nn.ReLU()

ReLU 함수

PyTorch로 배우는 딥러닝 입문

Leaky ReLU

Leaky ReLU:

  • 양의 입력은 ReLU와 동일
  • 음의 입력은 작은 계수로 스케일링(기본 0.01)
  • 음수 입력의 그래디언트는 0이 아님

$$

PyTorch에서:

leaky_relu = nn.LeakyReLU(
  negative_slope = 0.05)

Leaky ReLU

PyTorch로 배우는 딥러닝 입문

연습해 봅시다!

PyTorch로 배우는 딥러닝 입문

Preparing Video For Download...