为速度、成本与质量优化 AI

面向开发者的 AI 辅助编码

Francesca Donadoni

AI Curriculum Manager, DataCamp

指标

• 迟滞（响应时间）：模型生成回复所需时间

指标

• 迟滞（响应时间）：模型生成回复所需时间

$$

• 令牌成本（每 100 万令牌）：使用 AI 模型的货币成本

指标

• 迟滞（响应时间）：模型生成回复所需时间

$$

• 令牌成本（每 100 万令牌）：使用 AI 模型的货币成本

$$

• 质量（测试通过率/覆盖率）：生成代码按预期工作的频率

模型基准测试

$$

¹ https://github.com/openai/human-eval

模型基准测试

$$

¹ https://github.com/bigcode-project/bigcodebench

模型基准测试

$$

¹ https://github.com/SWE-bench/SWE-bench

模型基准测试

$$

¹ https://github.com/JohnnyPeng18/Coffe

提示版本管理

提示版本管理

提示版本管理

提示缓存

• 缓存通过存储以下内容工作：
  • 提示
  • 输入
  • 模型
  • 温度

Ayo berlatih!

面向开发者的 AI 辅助编码