Optimalizace AI z hlediska rychlosti, nákladů a kvality

AI-Assisted Coding for Developers

Francesca Donadoni

AI Curriculum Manager, DataCamp

Metriky

124.png

  • Latence (doba odezvy): Jak dlouho trvá modelu vygenerovat odpověď
AI-Assisted Coding for Developers

Metriky

135.png

  • Latence (doba odezvy): Jak dlouho trvá modelu vygenerovat odpověď

$$

  • Náklady na tokeny (za 1M tokenů): Peněžní náklady na použití modelu AI
AI-Assisted Coding for Developers

Metriky

126.png

  • Latence (doba odezvy): Jak dlouho trvá modelu vygenerovat odpověď

$$

  • Náklady na tokeny (za 1M tokenů): Peněžní náklady na použití modelu AI

$$

  • Kvalita (úspěšnost testů/pokrytí): Jak často vygenerovaný kód funguje správně
AI-Assisted Coding for Developers

Benchmarking modelů

$$

110.png

1 https://github.com/openai/human-eval
AI-Assisted Coding for Developers

Benchmarking modelů

$$

111.png

1 https://github.com/bigcode-project/bigcodebench
AI-Assisted Coding for Developers

Benchmarking modelů

$$

112.png

1 https://github.com/SWE-bench/SWE-bench
AI-Assisted Coding for Developers

Benchmarking modelů

$$

113.png

1 https://github.com/JohnnyPeng18/Coffe
AI-Assisted Coding for Developers

Verzování promptů

115.png

AI-Assisted Coding for Developers

Verzování promptů

118.png

AI-Assisted Coding for Developers

Verzování promptů

119.png

AI-Assisted Coding for Developers

Ukládání promptů do mezipaměti

  • Ukládání do mezipaměti zahrnuje:
    • Prompt
    • Vstup
    • Model
    • Teplota

prompt_caching.png

AI-Assisted Coding for Developers

Pojďme si procvičit!

AI-Assisted Coding for Developers

Preparing Video For Download...