批量大小与批归一化

Keras 深度学习入门

Miguel Esteban

Data Scientist & Founder

Keras 深度学习入门

Keras 深度学习入门

小批量

优点

  • 训练更快(同时间内更多权重更新)
  • 占用更少内存,可训练超大数据集
  • 噪声有助于逃离局部极小,达到更低误差

缺点

  • 需要更多迭代
  • 需调参,需要找到合适的批量大小
Keras 深度学习入门

1 Stack Exchange
Keras 深度学习入门

Keras 中的批量大小

# 拟合已构建并编译的模型
model.fit(X_train, y_train, epochs=100, batch_size=128)
                                        ^^^^^^^^^^^^^^

Keras 深度学习入门

Keras 深度学习入门

Keras 深度学习入门

Keras 深度学习入门

批归一化的优点

  • 改善梯度传播
  • 允许更大学习率
  • 降低对权重初始化的依赖
  • 具有额外的正则化效果
  • 限制内部协变量偏移
Keras 深度学习入门

Keras 中的批归一化

# 从 keras layers 导入 BatchNormalization
from tensorflow.keras.layers import BatchNormalization

# 实例化 Sequential 模型 model = Sequential()
# 添加输入层 model.add(Dense(3, input_shape=(2,), activation = 'relu'))
# 为上一层的输出添加批归一化 model.add(BatchNormalization())
# 添加输出层 model.add(Dense(1, activation='sigmoid'))
Keras 深度学习入门

Passons à la pratique !

Keras 深度学习入门

Preparing Video For Download...