恭喜你！

使用 PyTorch 高效訓練 AI 模型

Dennis Lee

Data Engineer, Amazon

學習旅程

 

說明本課涵蓋主題與章節的流程圖。

  • 在多部裝置上訓練模型
  • 準備挑戰含數十億參數的大型模型
  • 挑戰：硬體受限、訓練時間長、記憶體不足
使用 PyTorch 高效訓練 AI 模型

資料準備

 

說明本課涵蓋主題與章節的流程圖。

使用 PyTorch 高效訓練 AI 模型

在多裝置分散資料與模型

 

分散式訓練示意圖，顯示模型複製與資料分片。

使用 PyTorch 高效訓練 AI 模型

分散式訓練

 

 

說明本課涵蓋主題與章節的流程圖。

使用 PyTorch 高效訓練 AI 模型

Trainer 與 Accelerator 介面

比較 Accelerator 與 Trainer 在易用性與自訂能力的圖表。

使用 PyTorch 高效訓練 AI 模型

Trainer 與 Accelerator 介面

比較 Accelerator 與 Trainer 在易用性與自訂能力的圖表。

使用 PyTorch 高效訓練 AI 模型

Trainer 與 Accelerator 介面

比較 Accelerator 與 Trainer 在易用性與自訂能力的圖表。

使用 PyTorch 高效訓練 AI 模型

高效訓練

 

 

說明本課涵蓋主題與章節的流程圖。

使用 PyTorch 高效訓練 AI 模型

效率關鍵

代表記憶體效率、通訊效率與計算效率的圖示。

使用 PyTorch 高效訓練 AI 模型

效率關鍵

代表記憶體效率、通訊效率與計算效率的圖示。

  • 記憶體效率
    • 梯度累積：以更大批次訓練
    • 梯度檢查點：降低模型佔用
使用 PyTorch 高效訓練 AI 模型

效率關鍵

代表記憶體效率、通訊效率與計算效率的圖示。

  • 記憶體效率
    • 梯度累積：以更大批次訓練
    • 梯度檢查點：降低模型佔用
  • 通訊效率：local SGD
使用 PyTorch 高效訓練 AI 模型

效率關鍵

代表記憶體效率、通訊效率與計算效率的圖示。

  • 記憶體效率
    • 梯度累積：以更大批次訓練
    • 梯度檢查點：降低模型佔用
  • 通訊效率：local SGD
  • 計算效率：混合精度訓練
使用 PyTorch 高效訓練 AI 模型

最佳化器

 

 

說明本課涵蓋主題與章節的流程圖。

使用 PyTorch 高效訓練 AI 模型

最佳化器取捨

顯示 AdamW、Adafactor 與 8-bit Adam 在參數數量與精度之間取捨的示意圖。

使用 PyTorch 高效訓練 AI 模型

最佳化器取捨

顯示 AdamW、Adafactor 與 8-bit Adam 在參數數量與精度之間取捨的示意圖。

使用 PyTorch 高效訓練 AI 模型

最佳化器取捨

顯示 AdamW、Adafactor 與 8-bit Adam 在參數數量與精度之間取捨的示意圖。

使用 PyTorch 高效訓練 AI 模型

具備分散式訓練實戰力

 

 

說明本課涵蓋主題與章節的流程圖。

使用 PyTorch 高效訓練 AI 模型

做得好！

使用 PyTorch 高效訓練 AI 模型

Preparing Video For Download...