优化的必要性

Python 深度学习入门

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

基线神经网络

ch2_1_v3.002.png

Python 深度学习入门

基线神经网络

ch2_1_v3.003.png

Python 深度学习入门

基线神经网络

ch2_1_v3.004.png

Python 深度学习入门

基线神经网络

ch2_1_v3.005.png

Python 深度学习入门

基线神经网络

ch2_1_v3.006.png

Python 深度学习入门

基线神经网络

ch2_1_v3.007.png

Python 深度学习入门

基线神经网络

ch2_1_v3.008.png

Python 深度学习入门

基线神经网络

ch2_1_v3.009.png

Python 深度学习入门

基线神经网络

ch2_1_v3.010.png

Python 深度学习入门

多点预测

  • 点越多，预测越难
  • 在任意一组权重下，误差有多个取值
  • ……对应于要为许多点做预测
Python 深度学习入门

损失函数

  • 将多数据点的预测误差汇总为单一数值
  • 衡量模型预测性能
Python 深度学习入门

平方误差损失函数

ch2_1_v3.019.png

Python 深度学习入门

平方误差损失函数

ch2_1_v3.020.png

Python 深度学习入门

平方误差损失函数

ch2_1_v3.021.png

Python 深度学习入门

损失函数

ch2_1_v3.023.png

Python 深度学习入门

损失函数

ch2_1_v3.024.png

Python 深度学习入门

损失函数

ch2_1_v3.025.png

Python 深度学习入门

损失函数

  • 损失越低，模型越好
  • 目标：找到使损失最小的权重
  • 梯度下降
Python 深度学习入门

梯度下降

  • 想象你在漆黑的原野
  • 需要找到最低点
  • 触摸地面判断坡度
  • 向下走一小步
  • 重复，直到各方向都是上坡
Python 深度学习入门

梯度下降步骤

  • 从随机点开始
  • 直到到达相对平坦处：
    • 找到坡度
    • 向下走一步
Python 深度学习入门

单权重模型的优化

ch2_1_v3.042.png

Python 深度学习入门

单权重模型的优化

ch2_1_v3.044.png

Python 深度学习入门

单权重模型的优化

ch2_1_v3.045.png

Python 深度学习入门

单权重模型的优化

ch2_1_v3.046.png

Python 深度学习入门

单权重模型的优化

ch2_1_v3.047.png

Python 深度学习入门

单权重模型的优化

ch2_1_v3.048.png

Python 深度学习入门

单权重模型的优化

ch2_1_v3.049.png

Python 深度学习入门

单权重模型的优化

ch2_1_v3.050.png

Python 深度学习入门

单权重模型的优化

ch2_1_v3.051.png

Python 深度学习入门

Vamos praticar!

Python 深度学习入门

Preparing Video For Download...