Dimensiunea lotului și normalizarea lotului

Introducere în Deep Learning cu Keras

Miguel Esteban

Data Scientist & Founder

Introducere în Deep Learning cu Keras

Introducere în Deep Learning cu Keras

Mini-loturi

Avantaje

  • Rețelele se antrenează mai rapid (mai multe actualizări ale ponderilor în același timp)
  • Necesită mai puțină memorie RAM, permite antrenarea pe seturi mari de date
  • Zgomotul poate ajuta rețelele să atingă o eroare mai mică, evitând minimele locale

Dezavantaje

  • Sunt necesare mai multe iterații
  • Trebuie ajustate; este necesară găsirea unei dimensiuni optime a lotului
Introducere în Deep Learning cu Keras

1 Stack Exchange
Introducere în Deep Learning cu Keras

Dimensiunea lotului în Keras

# Fitting an already built and compiled model
model.fit(X_train, y_train, epochs=100, batch_size=128)
                                        ^^^^^^^^^^^^^^
Introducere în Deep Learning cu Keras

Introducere în Deep Learning cu Keras

Introducere în Deep Learning cu Keras

Introducere în Deep Learning cu Keras

Avantajele normalizării lotului

  • Îmbunătățește fluxul gradientului
  • Permite rate de învățare mai mari
  • Reduce dependența de inițializarea ponderilor
  • Acționează ca o formă involuntară de regularizare
  • Limitează schimbarea internă a covariatelor
Introducere în Deep Learning cu Keras

Normalizarea lotului în Keras

# Import BatchNormalization from keras layers
from tensorflow.keras.layers import BatchNormalization

# Instantiate a Sequential model
model = Sequential()

# Add an input layer
model.add(Dense(3, input_shape=(2,), activation = 'relu'))

# Add batch normalization for the outputs of the layer above
model.add(BatchNormalization())

# Add an output layer
model.add(Dense(1, activation='sigmoid'))
Introducere în Deep Learning cu Keras

Să exersăm!

Introducere în Deep Learning cu Keras

Preparing Video For Download...