Optimizarea AI pentru viteză, cost și calitate

Programare asistată de AI pentru dezvoltatori

Francesca Donadoni

AI Curriculum Manager, DataCamp

Metrici

124.png

  • Latență (timp de răspuns): Timpul necesar modelului pentru a genera un răspuns
Programare asistată de AI pentru dezvoltatori

Metrici

135.png

  • Latență (timp de răspuns): Timpul necesar modelului pentru a genera un răspuns

$$

  • Costul tokenilor (per 1M tokeni): Costul monetar al utilizării unui model AI
Programare asistată de AI pentru dezvoltatori

Metrici

126.png

  • Latență (timp de răspuns): Timpul necesar modelului pentru a genera un răspuns

$$

  • Costul tokenilor (per 1M tokeni): Costul monetar al utilizării unui model AI

$$

  • Calitate (rata de succes a testelor/acoperire): Frecvența cu care codul generat funcționează conform așteptărilor
Programare asistată de AI pentru dezvoltatori

Benchmarking modele

$$

110.png

1 https://github.com/openai/human-eval
Programare asistată de AI pentru dezvoltatori

Benchmarking modele

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
Programare asistată de AI pentru dezvoltatori

Benchmarking modele

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
Programare asistată de AI pentru dezvoltatori

Benchmarking modele

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
Programare asistată de AI pentru dezvoltatori

Versionarea prompturilor

115.png

Programare asistată de AI pentru dezvoltatori

Versionarea prompturilor

118.png

Programare asistată de AI pentru dezvoltatori

Versionarea prompturilor

119.png

Programare asistată de AI pentru dezvoltatori

Stocarea în cache a prompturilor

  • Stocarea în cache include:
    • Promptul
    • Intrarea
    • Modelul
    • Temperatura

prompt_caching.png

Programare asistată de AI pentru dezvoltatori

Să exersăm!

Programare asistată de AI pentru dezvoltatori

Preparing Video For Download...