AIの速度・コスト・品質の最適化

開発者のための AI 支援コーディング

Francesca Donadoni

AI Curriculum Manager, DataCamp

指標

• レイテンシ（応答時間）：モデルが応答を生成するまでの時間

指標

• レイテンシ（応答時間）：モデルが応答を生成するまでの時間

$$

• トークンコスト（100万トークンあたり）：AIモデルの利用にかかる費用

指標

• レイテンシ（応答時間）：モデルが応答を生成するまでの時間

$$

• トークンコスト（100万トークンあたり）：AIモデルの利用にかかる費用

$$

• 品質（テスト合格率／カバレッジ）：生成されたコードが意図通りに動作する割合

モデルベンチマーク

$$

¹ https://github.com/openai/human-eval

モデルベンチマーク

$$

¹ https://github.com/bigcode-project/bigcodebench

モデルベンチマーク

$$

¹ https://github.com/SWE-bench/SWE-bench

モデルベンチマーク

$$

¹ https://github.com/JohnnyPeng18/Coffe

プロンプトのバージョン管理

プロンプトのバージョン管理

プロンプトのバージョン管理

プロンプトキャッシング

• キャッシュには以下が保存されます：
  • プロンプト
  • 入力
  • モデル
  • 温度

練習しましょう！

開発者のための AI 支援コーディング