Chế độ phục vụ

Triển khai và Vòng đời MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Serving và serving mode

• Cung cấp dịch vụ dự đoán == Model serving
• Cách triển khai cụ thể của serving == Serving mode

 

Hãy chọn cẩn thận!

Dự đoán theo lô: Ưu tiên đơn giản

• Dự đoán theo lô là đơn giản nhất
• Nếu phù hợp, hãy chọn cách này
• Hợp với: tạo dự báo doanh số hàng tháng

Độ trễ chấp nhận được

Mức nào là chấp nhận được?

• < 1 giờ?
• < 1 phút?
• < 1 giây?
• < 1 mili giây?

Gần thời gian thực, hay Xử lý luồng

Độ trễ chấp nhận được ~= X phút

Còn gọi là xử lý luồng (yêu cầu và phản hồi tạo thành "luồng dữ liệu")

Dự đoán thời gian thực

Độ trễ chấp nhận được < 1 giây

Ví dụ:

• Phát hiện gian lận thẻ tín dụng
• Dự đoán chậm gần như vô dụng

Khi độ trễ là ưu tiên

• Mô hình yếu hơn nhưng nhanh còn giá trị hơn mô hình mạnh nhưng chậm
• Triển khai mô hình lên thiết bị người dùng để giảm độ trễ => "triển khai biên"
  • Ứng dụng di động dùng ML:
    • ứng dụng dẫn đường
    • mở khóa bằng nhận diện khuôn mặt
    • bộ lọc ảnh

Ayo berlatih!

Triển khai và Vòng đời MLOps