Batch size और batch normalization

Keras के साथ डीप लर्निंग परिचय

Miguel Esteban

Data Scientist & Founder

Mini-batches

फायदे

नेटवर्क तेज़ ट्रेन होते हैं (उतने ही समय में ज़्यादा weight updates)
कम RAM चाहिए, बहुत बड़े datasets पर ट्रेन कर सकते हैं
Noise से नेटवर्क local minima से निकलकर कम error तक पहुँच सकते हैं

नुकसान

ज़्यादा iterations चलाने पड़ते हैं
ट्यून करना पड़ता है, अच्छा batch size ढूँढ़ना होता है

¹ Stack Exchange

Keras में batch size

# पहले से बने और compiled मॉडल को fit करना
model.fit(X_train, y_train, epochs=100, batch_size=128)
                                        ^^^^^^^^^^^^^^

Batch normalization के फायदे

Gradient flow बेहतर होता है
Higher learning rates संभव होते हैं
Weight initialization पर निर्भरता घटती है
अनजाने में regularization जैसा प्रभाव देता है
Internal covariate shift सीमित करता है

Keras में batch normalization

# keras layers से BatchNormalization इम्पोर्ट करें
from tensorflow.keras.layers import BatchNormalization

# एक Sequential मॉडल बनाएँ
model = Sequential()

# एक input layer जोड़ें
model.add(Dense(3, input_shape=(2,), activation = 'relu'))

# ऊपर वाली layer के outputs पर batch normalization जोड़ें
model.add(BatchNormalization())

# एक output layer जोड़ें
model.add(Dense(1, activation='sigmoid'))

अभ्यास करते हैं!

Keras के साथ डीप लर्निंग परिचय

Preparing Video For Download...