AI optimaliseren voor snelheid, kosten en kwaliteit

AI-ondersteund coderen voor developers

Francesca Donadoni

AI Curriculum Manager, DataCamp

Metrieken

124.png

  • Latency (responstijd): hoe lang het model nodig heeft om te antwoorden
AI-ondersteund coderen voor developers

Metrieken

135.png

  • Latency (responstijd): hoe lang het model nodig heeft om te antwoorden

$$

  • Tokencosten (per 1M tokens): geldelijke kosten van het gebruik van een AI‑model
AI-ondersteund coderen voor developers

Metrieken

126.png

  • Latency (responstijd): hoe lang het model nodig heeft om te antwoorden

$$

  • Tokencosten (per 1M tokens): geldelijke kosten van het gebruik van een AI‑model

$$

  • Kwaliteit (slagingspercentage bij tests/dekking): hoe vaak de gegenereerde code werkt zoals bedoeld
AI-ondersteund coderen voor developers

Modelbenchmarking

$$

110.png

1 https://github.com/openai/human-eval
AI-ondersteund coderen voor developers

Modelbenchmarking

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
AI-ondersteund coderen voor developers

Modelbenchmarking

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
AI-ondersteund coderen voor developers

Modelbenchmarking

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
AI-ondersteund coderen voor developers

Versiebeheer voor prompts

115.png

AI-ondersteund coderen voor developers

Versiebeheer voor prompts

118.png

AI-ondersteund coderen voor developers

Versiebeheer voor prompts

119.png

AI-ondersteund coderen voor developers

Promptcaching

  • Caching werkt door het opslaan van:
    • Prompt
    • Invoer
    • Model
    • Temperatuur

prompt_caching.png

AI-ondersteund coderen voor developers

Laten we oefenen!

AI-ondersteund coderen voor developers

Preparing Video For Download...