¡Enhorabuena!

Entrenamiento eficiente de modelos de IA con PyTorch

Dennis Lee

Data Engineer, Amazon

Recorrido del curso

 

Diagrama de flujo que muestra los temas y capítulos del curso.

  • Entrena modelos en varios dispositivos
  • Listo para afrontar modelos grandes con miles de millones de parámetros
  • Retos: hardware limitado, entrenamientos largos, memoria escasa
Entrenamiento eficiente de modelos de IA con PyTorch

Preparación de datos

 

Diagrama de flujo que muestra los temas y capítulos del curso.

Entrenamiento eficiente de modelos de IA con PyTorch

Distribuye datos y modelo entre dispositivos

 

Diagrama de entrenamiento distribuido con replicación del modelo y partición de datos.

Entrenamiento eficiente de modelos de IA con PyTorch

Entrenamiento distribuido

 

 

Diagrama de flujo que muestra los temas y capítulos del curso.

Entrenamiento eficiente de modelos de IA con PyTorch

Interfaces de Trainer y Accelerator

Gráfico que compara facilidad de uso vs. personalización para Accelerator y Trainer.

Entrenamiento eficiente de modelos de IA con PyTorch

Interfaces de Trainer y Accelerator

Gráfico que compara facilidad de uso vs. personalización para Accelerator y Trainer.

Entrenamiento eficiente de modelos de IA con PyTorch

Interfaces de Trainer y Accelerator

Gráfico que compara facilidad de uso vs. personalización para Accelerator y Trainer.

Entrenamiento eficiente de modelos de IA con PyTorch

Entrenamiento eficiente

 

 

Diagrama de flujo que muestra los temas y capítulos del curso.

Entrenamiento eficiente de modelos de IA con PyTorch

Impulsores de eficiencia

Iconos que representan eficiencia de memoria, comunicación y cómputo.

Entrenamiento eficiente de modelos de IA con PyTorch

Impulsores de eficiencia

Iconos que representan eficiencia de memoria, comunicación y cómputo.

  • Eficiencia de memoria
    • Acumulación de gradientes: entrena con lotes más grandes
    • Checkpointing de gradientes: reduce la huella del modelo
Entrenamiento eficiente de modelos de IA con PyTorch

Impulsores de eficiencia

Iconos que representan eficiencia de memoria, comunicación y cómputo.

  • Eficiencia de memoria
    • Acumulación de gradientes: entrena con lotes más grandes
    • Checkpointing de gradientes: reduce la huella del modelo
  • Eficiencia de comunicación: SGD local
Entrenamiento eficiente de modelos de IA con PyTorch

Impulsores de eficiencia

Iconos que representan eficiencia de memoria, comunicación y cómputo.

  • Eficiencia de memoria
    • Acumulación de gradientes: entrena con lotes más grandes
    • Checkpointing de gradientes: reduce la huella del modelo
  • Eficiencia de comunicación: SGD local
  • Eficiencia computacional: entrenamiento de precisión mixta
Entrenamiento eficiente de modelos de IA con PyTorch

Optimizadores

 

 

Diagrama de flujo que muestra los temas y capítulos del curso.

Entrenamiento eficiente de modelos de IA con PyTorch

Trade-offs de optimizadores

Diagrama que muestra los trade-offs entre número de parámetros y precisión para AdamW, Adafactor y Adam de 8 bits.

Entrenamiento eficiente de modelos de IA con PyTorch

Trade-offs de optimizadores

Diagrama que muestra los trade-offs entre número de parámetros y precisión para AdamW, Adafactor y Adam de 8 bits.

Entrenamiento eficiente de modelos de IA con PyTorch

Trade-offs de optimizadores

Diagrama que muestra los trade-offs entre número de parámetros y precisión para AdamW, Adafactor y Adam de 8 bits.

Entrenamiento eficiente de modelos de IA con PyTorch

Listx para destacar en entrenamiento distribuido

 

 

Diagrama de flujo que muestra los temas y capítulos del curso.

Entrenamiento eficiente de modelos de IA con PyTorch

¡Bravo!

Entrenamiento eficiente de modelos de IA con PyTorch

Preparing Video For Download...