反向传播

Python 深度学习入门

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

反向传播

反向传播

反向传播

反向传播

• 使梯度下降可更新网络中所有权重（获取所有权重的梯度）
• 源于微积分的链式法则
• 理解流程很重要，但通常会使用库来实现

反向传播过程

• 估计损失函数对每个权重的斜率
• 先前向传播以计算预测与误差

反向传播过程

反向传播过程

反向传播过程

• 逐层向后计算
• 权重的梯度为以下乘积：
  1. 输入该权重的节点值
  2. 损失函数对其指向节点的导数
  3. 该节点的激活函数导数

ReLU 激活函数

反向传播过程

• 还需跟踪损失函数对各节点值的导数
• 节点值的导数等于其发出所有权重的导数之和

Passons à la pratique !

Python 深度学习入门