Backpropagation

Pengantar Deep Learning dengan Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_3_v2.003.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_3_v2.004.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_3_v2.005.png

Pengantar Deep Learning dengan Python

Backpropagation

ch2_3_v2.006.png

  • Memungkinkan gradient descent memperbarui semua bobot di neural network (dengan mendapatkan gradien untuk semua bobot)
  • Berasal dari aturan rantai kalkulus
  • Penting memahami prosesnya, tetapi biasanya Anda akan memakai pustaka yang mengimplementasikannya
Pengantar Deep Learning dengan Python

Proses backpropagation

  • Mencari kemiringan fungsi loss terhadap setiap bobot
  • Lakukan forward propagation untuk menghitung prediksi dan error
Pengantar Deep Learning dengan Python

Proses backpropagation

ch2_3_v2.013.png

Pengantar Deep Learning dengan Python

Proses backpropagation

ch2_3_v2.014.png

Pengantar Deep Learning dengan Python

Proses backpropagation

  • Kembali satu lapisan setiap kali
  • Gradien untuk bobot adalah hasil kali:
    1. Nilai node yang masuk ke bobot tersebut
    2. Kemiringan fungsi loss terhadap node tujuan
    3. Kemiringan fungsi aktivasi pada node tujuan
Pengantar Deep Learning dengan Python

Fungsi Aktivasi ReLU

ch2_3_v2.022.png

Pengantar Deep Learning dengan Python

Proses backpropagation

  • Perlu juga melacak kemiringan fungsi loss terhadap nilai node
  • Kemiringan nilai node adalah jumlah kemiringan untuk semua bobot yang keluar darinya
Pengantar Deep Learning dengan Python

Ayo berlatih!

Pengantar Deep Learning dengan Python

Preparing Video For Download...