Optimizando IA: velocidad, costo y calidad

Programación asistida por IA para desarrolladores

Francesca Donadoni

AI Curriculum Manager, DataCamp

Métricas

124.png

  • Latencia (tiempo de respuesta): Tiempo que tarda el modelo en generar una respuesta
Programación asistida por IA para desarrolladores

Métricas

135.png

  • Latencia (tiempo de respuesta): Tiempo que tarda el modelo en generar una respuesta

$$

  • Costo por token (por 1M tokens): Gasto monetario de usar un modelo de IA
Programación asistida por IA para desarrolladores

Métricas

126.png

  • Latencia (tiempo de respuesta): Tiempo que tarda el modelo en generar una respuesta

$$

  • Costo por token (por 1M tokens): Gasto monetario de usar un modelo de IA

$$

  • Calidad (tasa de éxito en pruebas/cobertura): Frecuencia con la que el código generado funciona como se espera
Programación asistida por IA para desarrolladores

Evaluación de modelos

$$

110.png

1 https://github.com/openai/human-eval
Programación asistida por IA para desarrolladores

Evaluación de modelos

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Programación asistida por IA para desarrolladores

Evaluación de modelos

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Programación asistida por IA para desarrolladores

Evaluación de modelos

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Programación asistida por IA para desarrolladores

Versionado de prompts

115.png

Programación asistida por IA para desarrolladores

Versionado de prompts

118.png

Programación asistida por IA para desarrolladores

Versionado de prompts

119.png

Programación asistida por IA para desarrolladores

Caché de prompts

  • El caché funciona almacenando:
    • Prompt
    • Entrada
    • Modelo
    • Temperatura

prompt_caching.png

Programación asistida por IA para desarrolladores

¡Vamos a practicar!

Programación asistida por IA para desarrolladores

Preparing Video For Download...