恭喜！

使用 PyTorch 高效训练 AI 模型

Dennis Lee

Data Engineer, Amazon

课程旅程

 

展示本课程主题与章节的流程图。

  • 跨多设备训练模型
  • 已准备好处理百亿级参数的大模型
  • 挑战：硬件受限、训练耗时长、内存受限
使用 PyTorch 高效训练 AI 模型

数据准备

 

展示本课程主题与章节的流程图。

使用 PyTorch 高效训练 AI 模型

在多设备间分布数据与模型

 

分布式训练示意图，展示模型复制与数据分片。

使用 PyTorch 高效训练 AI 模型

分布式训练

 

 

展示本课程主题与章节的流程图。

使用 PyTorch 高效训练 AI 模型

Trainer 与 Accelerator 界面

比较 Accelerator 与 Trainer 在易用性与自定义能力上的图表。

使用 PyTorch 高效训练 AI 模型

Trainer 与 Accelerator 界面

比较 Accelerator 与 Trainer 在易用性与自定义能力上的图表。

使用 PyTorch 高效训练 AI 模型

Trainer 与 Accelerator 界面

比较 Accelerator 与 Trainer 在易用性与自定义能力上的图表。

使用 PyTorch 高效训练 AI 模型

高效训练

 

 

展示本课程主题与章节的流程图。

使用 PyTorch 高效训练 AI 模型

效率驱动因素

表示内存效率、通信效率和计算效率的图标。

使用 PyTorch 高效训练 AI 模型

效率驱动因素

表示内存效率、通信效率和计算效率的图标。

  • 内存效率
    • 梯度累积：用更大批量训练
    • 梯度检查点：降低模型占用
使用 PyTorch 高效训练 AI 模型

效率驱动因素

表示内存效率、通信效率和计算效率的图标。

  • 内存效率
    • 梯度累积：用更大批量训练
    • 梯度检查点：降低模型占用
  • 通信效率：本地 SGD
使用 PyTorch 高效训练 AI 模型

效率驱动因素

表示内存效率、通信效率和计算效率的图标。

  • 内存效率
    • 梯度累积：用更大批量训练
    • 梯度检查点：降低模型占用
  • 通信效率：本地 SGD
  • 计算效率：混合精度训练
使用 PyTorch 高效训练 AI 模型

优化器

 

 

展示本课程主题与章节的流程图。

使用 PyTorch 高效训练 AI 模型

优化器权衡

展示 AdamW、Adafactor 和 8-bit Adam 在参数量与精度间权衡的示意图。

使用 PyTorch 高效训练 AI 模型

优化器权衡

展示 AdamW、Adafactor 和 8-bit Adam 在参数量与精度间权衡的示意图。

使用 PyTorch 高效训练 AI 模型

优化器权衡

展示 AdamW、Adafactor 和 8-bit Adam 在参数量与精度间权衡的示意图。

使用 PyTorch 高效训练 AI 模型

胜任分布式训练

 

 

展示本课程主题与章节的流程图。

使用 PyTorch 高效训练 AI 模型

干得好！

使用 PyTorch 高效训练 AI 模型

Preparing Video For Download...