Otimização de IA: velocidade, custo e qualidade

Codificação com IA para Desenvolvedores

Francesca Donadoni

AI Curriculum Manager, DataCamp

Métricas

124.png

  • Latência (tempo de resposta): Tempo que o modelo leva para gerar uma resposta
Codificação com IA para Desenvolvedores

Métricas

135.png

  • Latência (tempo de resposta): Tempo que o modelo leva para gerar uma resposta

$$

  • Custo por token (por 1M tokens): Custo monetário de usar um modelo de IA
Codificação com IA para Desenvolvedores

Métricas

126.png

  • Latência (tempo de resposta): Tempo que o modelo leva para gerar uma resposta

$$

  • Custo por token (por 1M tokens): Custo monetário de usar um modelo de IA

$$

  • Qualidade (taxa de sucesso em testes/cobertura): Frequência com que o código gerado funciona como esperado
Codificação com IA para Desenvolvedores

Benchmarking de modelos

$$

110.png

1 https://github.com/openai/human-eval
Codificação com IA para Desenvolvedores

Benchmarking de modelos

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Codificação com IA para Desenvolvedores

Benchmarking de modelos

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Codificação com IA para Desenvolvedores

Benchmarking de modelos

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Codificação com IA para Desenvolvedores

Versionamento de prompts

115.png

Codificação com IA para Desenvolvedores

Versionamento de prompts

118.png

Codificação com IA para Desenvolvedores

Versionamento de prompts

119.png

Codificação com IA para Desenvolvedores

Cache de prompts

  • O cache funciona armazenando:
    • Prompt
    • Entrada
    • Modelo
    • Temperatura

prompt_caching.png

Codificação com IA para Desenvolvedores

Vamos praticar!

Codificação com IA para Desenvolvedores

Preparing Video For Download...