Розмір пакета та пакетна нормалізація

Вступ до Deep Learning з Keras

Miguel Esteban

Data Scientist & Founder

Вступ до Deep Learning з Keras

Вступ до Deep Learning з Keras

Мініпакети

Переваги

  • Мережі навчаються швидше (більше оновлень ваг за той самий час)
  • Потрібно менше RAM, можна тренуватися на дуже великих наборах даних
  • Шум допомагає досягати меншої помилки, уникаючи локальних мінімумів

Недоліки

  • Потрібно виконувати більше ітерацій
  • Потрібно налаштовувати, слід підібрати вдалий розмір пакета
Вступ до Deep Learning з Keras

1 Stack Exchange
Вступ до Deep Learning з Keras

Розмір пакета в Keras

# Навчання вже створеної та скомпільованої моделі
model.fit(X_train, y_train, epochs=100, batch_size=128)
                                        ^^^^^^^^^^^^^^
Вступ до Deep Learning з Keras

Вступ до Deep Learning з Keras

Вступ до Deep Learning з Keras

Вступ до Deep Learning з Keras

Переваги пакетної нормалізації

  • Поліпшує протікання градієнтів
  • Дозволяє вищі швидкості навчання
  • Зменшує залежність від ініціалізації ваг
  • Діє як ненавмисна регуляризація
  • Обмежує внутрішній ковариаційний зсув
Вступ до Deep Learning з Keras

Пакетна нормалізація в Keras

# Імпортуйте BatchNormalization з keras layers
from tensorflow.keras.layers import BatchNormalization

# Створіть модель Sequential
model = Sequential()

# Додайте вхідний шар
model.add(Dense(3, input_shape=(2,), activation = 'relu'))

# Додайте пакетну нормалізацію для виходів попереднього шару
model.add(BatchNormalization())

# Додайте вихідний шар
model.add(Dense(1, activation='sigmoid'))
Вступ до Deep Learning з Keras

Давайте потренуємось!

Вступ до Deep Learning з Keras

Preparing Video For Download...