最佳化 AI 的速度、成本與品質

AI-Assisted Coding for Developers

Francesca Donadoni

AI Curriculum Manager, DataCamp

衡量指標

• Latency（回應時間）：模型產生回應所需時間

衡量指標

• Latency（回應時間）：模型產生回應所需時間

$$

• Token cost（每 1M tokens）：使用 AI 模型的金額成本

衡量指標

• Latency（回應時間）：模型產生回應所需時間

$$

• Token cost（每 1M tokens）：使用 AI 模型的金額成本

$$

• Quality（測試通過率／涵蓋率）：產生的程式碼符合預期的頻率

模型基準測試

$$

¹ https://github.com/openai/human-eval

模型基準測試

$$

¹ https://github.com/bigcode-project/bigcodebench

模型基準測試

$$

¹ https://github.com/SWE-bench/SWE-bench

模型基準測試

$$

¹ https://github.com/JohnnyPeng18/Coffe

提示版本控管

提示版本控管

提示版本控管

提示快取

• 快取會儲存：
  • 提示
  • 輸入
  • 模型
  • 溫度

一起來練習吧！

AI-Assisted Coding for Developers