역전파

Python으로 시작하는 Deep Learning

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

역전파

ch2_3_v2.003.png

Python으로 시작하는 Deep Learning

역전파

ch2_3_v2.004.png

Python으로 시작하는 Deep Learning

역전파

ch2_3_v2.005.png

Python으로 시작하는 Deep Learning

역전파

ch2_3_v2.006.png

  • 그래디언트 하강법이 신경망의 모든 가중치를 업데이트하도록 함(모든 가중치의 그래디언트 계산)
  • 미적분의 연쇄법칙에서 유도됨
  • 과정을 이해하는 것이 중요하나, 보통은 이를 구현한 라이브러리를 사용함
Python으로 시작하는 Deep Learning

역전파 과정

  • 각 가중치에 대한 손실함수의 기울기를 추정합니다
  • 예측과 오차를 계산하기 위해 순전파를 수행합니다
Python으로 시작하는 Deep Learning

역전파 과정

ch2_3_v2.013.png

Python으로 시작하는 Deep Learning

역전파 과정

ch2_3_v2.014.png

Python으로 시작하는 Deep Learning

역전파 과정

  • 한 번에 한 층씩 뒤로 이동합니다
  • 가중치의 그래디언트는 다음의 곱입니다:
    1. 해당 가중치로 들어가는 노드 값
    2. 그 노드에 대한 손실함수 기울기
    3. 그 노드에서의 활성화함수 기울기
Python으로 시작하는 Deep Learning

ReLU 활성화 함수

ch2_3_v2.022.png

Python으로 시작하는 Deep Learning

역전파 과정

  • 노드 값에 대한 손실함수의 기울기도 추적해야 합니다
  • 노드 값의 기울기는 그 노드에서 나가는 모든 가중치 기울기의 합입니다
Python으로 시작하는 Deep Learning

연습해 봅시다!

Python으로 시작하는 Deep Learning

Preparing Video For Download...