Ukuran batch dan batch normalization

Pengantar Deep Learning dengan Keras

Miguel Esteban

Data Scientist & Founder

Pengantar Deep Learning dengan Keras

Pengantar Deep Learning dengan Keras

Mini-batch

Keunggulan

  • Pelatihan lebih cepat (lebih banyak pembaruan bobot dalam waktu yang sama)
  • Perlu RAM lebih kecil, bisa melatih dataset sangat besar
  • Noise membantu mencapai error lebih rendah, keluar dari lokal minimum

Kelemahan

  • Perlu lebih banyak iterasi
  • Perlu penyesuaian; harus menemukan ukuran batch yang baik
Pengantar Deep Learning dengan Keras

1 Stack Exchange
Pengantar Deep Learning dengan Keras

Ukuran batch di Keras

# Melatih model yang sudah dibuat dan dikompilasi
model.fit(X_train, y_train, epochs=100, batch_size=128)
                                        ^^^^^^^^^^^^^^
Pengantar Deep Learning dengan Keras

Pengantar Deep Learning dengan Keras

Pengantar Deep Learning dengan Keras

Pengantar Deep Learning dengan Keras

Keunggulan batch normalization

  • Memperbaiki aliran gradien
  • Memungkinkan learning rate lebih tinggi
  • Mengurangi ketergantungan pada inisialisasi bobot
  • Bertindak sebagai regularisasi tak disengaja
  • Membatasi pergeseran kovariat internal
Pengantar Deep Learning dengan Keras

Batch normalization di Keras

# Impor BatchNormalization dari keras layers
from tensorflow.keras.layers import BatchNormalization

# Membuat model Sequential
model = Sequential()

# Tambahkan layer input
model.add(Dense(3, input_shape=(2,), activation = 'relu'))

# Tambahkan batch normalization untuk keluaran layer di atas
model.add(BatchNormalization())

# Tambahkan layer output
model.add(Dense(1, activation='sigmoid'))
Pengantar Deep Learning dengan Keras

Ayo berlatih!

Pengantar Deep Learning dengan Keras

Preparing Video For Download...