실무에서의 역전파

Python으로 시작하는 Deep Learning

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

역전파

ch2_4_v2.002.png

Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.003.png

Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.004.png

Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.010.png

Python으로 시작하는 Deep Learning

임의 가중치의 기울기 계산

  • 가중치의 기울기는 다음의 곱
    1. 해당 가중치로 들어가는 노드 값
    2. 입력을 받는 노드의 활성화함수 기울기
    3. 출력 노드에 대한 손실함수 기울기
Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.016.png

Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.017.png

Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.018.png

Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.019.png

Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.020.png

Python으로 시작하는 Deep Learning

역전파

ch2_4_v2.021.png

Python으로 시작하는 Deep Learning

역전파: 요약

  • 임의의 가중치 집합에서 시작
  • 순전파로 예측 수행
  • 역전파로 각 가중치에 대한 손실 기울기 계산
  • 그 기울기에 학습률을 곱해 현재 가중치에서 빼기
  • 평평한 지점에 도달할 때까지 반복
Python으로 시작하는 Deep Learning

확률적 경사 하강법

  • 데이터의 일부(배치)로만 기울기를 계산하는 것이 일반적임
  • 다음 업데이트에는 다른 배치를 사용
  • 모든 데이터를 한 번 쓰면 처음부터 다시 시작
  • 훈련 데이터를 한 바퀴 도는 것을 에포크라 함
  • 배치 하나씩 기울기를 계산하면: 확률적 경사 하강법
Python으로 시작하는 Deep Learning

연습해 봅시다!

Python으로 시작하는 Deep Learning

Preparing Video For Download...