Ottimizzare l'IA per velocità, costo e qualità

Programmazione assistita dall'AI per sviluppatori

Francesca Donadoni

AI Curriculum Manager, DataCamp

Metriche

124.png

  • Latenza (tempo di risposta): Quanto tempo impiega il modello a generare una risposta
Programmazione assistita dall'AI per sviluppatori

Metriche

135.png

  • Latenza (tempo di risposta): Quanto tempo impiega il modello a generare una risposta

$$

  • Costo per token (per 1M token): Spesa per l'uso di un modello AI
Programmazione assistita dall'AI per sviluppatori

Metriche

126.png

  • Latenza (tempo di risposta): Quanto tempo impiega il modello a generare una risposta

$$

  • Costo per token (per 1M token): Spesa per l'uso di un modello AI

$$

  • Qualità (tasso di successo nei test/copertura): Frequenza con cui il codice generato funziona come previsto
Programmazione assistita dall'AI per sviluppatori

Benchmarking del modello

$$

110.png

1 https://github.com/openai/human-eval
Programmazione assistita dall'AI per sviluppatori

Benchmarking del modello

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Programmazione assistita dall'AI per sviluppatori

Benchmarking del modello

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Programmazione assistita dall'AI per sviluppatori

Benchmarking del modello

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Programmazione assistita dall'AI per sviluppatori

Versionamento dei prompt

115.png

Programmazione assistita dall'AI per sviluppatori

Versionamento dei prompt

118.png

Programmazione assistita dall'AI per sviluppatori

Versionamento dei prompt

119.png

Programmazione assistita dall'AI per sviluppatori

Caching dei prompt

  • Il caching funziona memorizzando:
    • Prompt
    • Input
    • Modello
    • Temperatura

prompt_caching.png

Programmazione assistita dall'AI per sviluppatori

Ayo berlatih!

Programmazione assistita dall'AI per sviluppatori

Preparing Video For Download...