Tối ưu AI cho tốc độ, chi phí và chất lượng

Lập trình với AI dành cho Developer

Francesca Donadoni

AI Curriculum Manager, DataCamp

Chỉ số đo lường

Độ trễ (thời gian phản hồi): Thời gian mô hình tạo phản hồi

Chỉ số đo lường

Độ trễ (thời gian phản hồi): Thời gian mô hình tạo phản hồi

$$

Chi phí token (trên 1M token): Chi phí sử dụng mô hình AI

Chỉ số đo lường

Độ trễ (thời gian phản hồi): Thời gian mô hình tạo phản hồi

$$

Chi phí token (trên 1M token): Chi phí sử dụng mô hình AI

$$

Chất lượng (tỉ lệ qua bài kiểm thử/độ bao phủ): Tần suất mã sinh ra hoạt động đúng như mong đợi

Đo chuẩn mô hình

$$

¹ https://github.com/openai/human-eval

Đo chuẩn mô hình

$$

¹ https://github.com/bigcode-project/bigcodebench

Đo chuẩn mô hình

$$

¹ https://github.com/SWE-bench/SWE-bench

Đo chuẩn mô hình

$$

¹ https://github.com/JohnnyPeng18/Coffe

Quản lý phiên bản prompt

Quản lý phiên bản prompt

Quản lý phiên bản prompt

Bộ nhớ đệm prompt

Bộ nhớ đệm lưu trữ:
- Prompt
- Input
- Model
- Temperature

Ayo berlatih!

Lập trình với AI dành cho Developer

Preparing Video For Download...