Parabéns!

Treinamento Eficiente de Modelos de IA com PyTorch

Dennis Lee

Data Engineer, Amazon

Jornada do curso

 

Fluxograma mostrando os tópicos e capítulos do curso.

  • Treine modelos em vários dispositivos
  • Pronto para encarar modelos grandes com bilhões de parâmetros
  • Desafios: hardware limitado, treino demorado, pouca memória
Treinamento Eficiente de Modelos de IA com PyTorch

Preparação de dados

 

Fluxograma mostrando os tópicos e capítulos do curso.

Treinamento Eficiente de Modelos de IA com PyTorch

Distribua dados e modelo entre dispositivos

 

Diagrama de treino distribuído mostrando replicação do modelo e particionamento de dados.

Treinamento Eficiente de Modelos de IA com PyTorch

Treino distribuído

 

 

Fluxograma mostrando os tópicos e capítulos do curso.

Treinamento Eficiente de Modelos de IA com PyTorch

Interfaces do Trainer e do Accelerator

Gráfico comparando facilidade de uso vs. personalização para Accelerator e Trainer.

Treinamento Eficiente de Modelos de IA com PyTorch

Interfaces do Trainer e do Accelerator

Gráfico comparando facilidade de uso vs. personalização para Accelerator e Trainer.

Treinamento Eficiente de Modelos de IA com PyTorch

Interfaces do Trainer e do Accelerator

Gráfico comparando facilidade de uso vs. personalização para Accelerator e Trainer.

Treinamento Eficiente de Modelos de IA com PyTorch

Treinamento eficiente

 

 

Fluxograma mostrando os tópicos e capítulos do curso.

Treinamento Eficiente de Modelos de IA com PyTorch

Motores de eficiência

Ícones de eficiência de memória, comunicação e computação.

Treinamento Eficiente de Modelos de IA com PyTorch

Motores de eficiência

Ícones de eficiência de memória, comunicação e computação.

  • Eficiência de memória
    • Acúmulo de gradientes: treine com batches maiores
    • Checkpointing de gradiente: reduza o tamanho do modelo
Treinamento Eficiente de Modelos de IA com PyTorch

Motores de eficiência

Ícones de eficiência de memória, comunicação e computação.

  • Eficiência de memória
    • Acúmulo de gradientes: treine com batches maiores
    • Checkpointing de gradiente: reduza o tamanho do modelo
  • Eficiência de comunicação: SGD local
Treinamento Eficiente de Modelos de IA com PyTorch

Motores de eficiência

Ícones de eficiência de memória, comunicação e computação.

  • Eficiência de memória
    • Acúmulo de gradientes: treine com batches maiores
    • Checkpointing de gradiente: reduza o tamanho do modelo
  • Eficiência de comunicação: SGD local
  • Eficiência computacional: treino de precisão mista
Treinamento Eficiente de Modelos de IA com PyTorch

Otimizações

 

 

Fluxograma mostrando os tópicos e capítulos do curso.

Treinamento Eficiente de Modelos de IA com PyTorch

Trade-offs de otimizadores

Diagrama mostrando trade-offs entre número de parâmetros e precisão para AdamW, Adafactor e Adam 8-bit.

Treinamento Eficiente de Modelos de IA com PyTorch

Trade-offs de otimizadores

Diagrama mostrando trade-offs entre número de parâmetros e precisão para AdamW, Adafactor e Adam 8-bit.

Treinamento Eficiente de Modelos de IA com PyTorch

Trade-offs de otimizadores

Diagrama mostrando trade-offs entre número de parâmetros e precisão para AdamW, Adafactor e Adam 8-bit.

Treinamento Eficiente de Modelos de IA com PyTorch

Pronto para mandar bem em treino distribuído

 

 

Fluxograma mostrando os tópicos e capítulos do curso.

Treinamento Eficiente de Modelos de IA com PyTorch

Mandou bem!

Treinamento Eficiente de Modelos de IA com PyTorch

Preparing Video For Download...