Optimera AI för hastighet, kostnad och kvalitet

AI-assisterad kodning för utvecklare

Francesca Donadoni

AI Curriculum Manager, DataCamp

Mätvärden

124.png

  • Latens (svarstid): Hur lång tid det tar för modellen att generera ett svar
AI-assisterad kodning för utvecklare

Mätvärden

135.png

  • Latens (svarstid): Hur lång tid det tar för modellen att generera ett svar

$$

  • Tokenkostnad (per 1M tokens): Den monetära kostnaden för att använda en AI-modell
AI-assisterad kodning för utvecklare

Mätvärden

126.png

  • Latens (svarstid): Hur lång tid det tar för modellen att generera ett svar

$$

  • Tokenkostnad (per 1M tokens): Den monetära kostnaden för att använda en AI-modell

$$

  • Kvalitet (godkännandegrad för tester/täckning): Hur ofta den genererade koden fungerar som avsett
AI-assisterad kodning för utvecklare

Modell-benchmarking

$$

110.png

1 https://github.com/openai/human-eval
AI-assisterad kodning för utvecklare

Modell-benchmarking

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
AI-assisterad kodning för utvecklare

Modell-benchmarking

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
AI-assisterad kodning för utvecklare

Modell-benchmarking

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
AI-assisterad kodning för utvecklare

Promptversionshantering

115.png

AI-assisterad kodning för utvecklare

Promptversionshantering

118.png

AI-assisterad kodning för utvecklare

Promptversionshantering

119.png

AI-assisterad kodning för utvecklare

Prompt-caching

  • Caching fungerar genom att lagra:
    • Prompt
    • Indata
    • Modell
    • Temperatur

prompt_caching.png

AI-assisterad kodning för utvecklare

Nu kör vi en övning!

AI-assisterad kodning för utvecklare

Preparing Video For Download...