Backpropagation dalam praktik

Pengantar Deep Learning dengan Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_4_v2.002.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.003.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.004.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.010.png

Pengantar Deep Learning dengan Python

Menghitung kemiringan untuk bobot apa pun

  • Gradien untuk bobot adalah hasil kali dari:
    1. Nilai node yang masuk ke bobot itu
    2. Kemiringan fungsi aktivasi untuk node yang dimasuki
    3. Kemiringan fungsi loss terhadap node keluaran
Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.016.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.017.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.018.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.019.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.020.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_4_v2.021.png

Pengantar Deep Learning dengan Python

Backpropagation: Ringkasan

  • Mulai dari bobot acak
  • Gunakan forward propagation untuk membuat prediksi
  • Gunakan backward propagation untuk menghitung kemiringan fungsi loss terhadap tiap bobot
  • Kalikan kemiringan dengan laju belajar, lalu kurangi dari bobot saat ini
  • Ulangi siklus ini sampai mencapai bagian yang datar
Pengantar Deep Learning dengan Python

Stochastic gradient descent

  • Umum menghitung kemiringan hanya pada subset data (sebuah batch)
  • Gunakan batch lain untuk pembaruan berikutnya
  • Mulai lagi dari awal setelah semua data dipakai
  • Satu kali melalui seluruh data latih disebut epoch
  • Saat kemiringan dihitung per batch: stochastic gradient descent
Pengantar Deep Learning dengan Python

Ayo berlatih!

Pengantar Deep Learning dengan Python

Preparing Video For Download...