Tự động hóa trong chiến lược triển khai MLOps

MLOps Tự động hoá Hoàn toàn

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Triển khai mô hình - dịch vụ dự đoán

Kiến trúc tham chiếu MLOps với phần được tô đậm: dịch vụ dự đoán.

Tổng hợp chế độ phục vụ dự đoán

Có thể phục vụ dự đoán theo:

Batch

Luồng

Thời gian thực

Trên thiết bị biên

Dịch vụ dự đoán - phục vụ batch

Số lượng dự đoán lớn

Lịch chạy định kỳ

Kích hoạt theo sự kiện

Sơ đồ xử lý theo lô. Toàn bộ đầu vào vào engine xử lý batch. Toàn bộ đầu ra được trả về cùng lúc sau khi xử lý xong.

Dịch vụ dự đoán - phục vụ streaming

Dữ liệu vào liên tục

Dự đoán ra liên tục

Sơ đồ xử lý luồng. Phần tử vào liên tục tới engine xử lý luồng. Sau xử lý, kết quả ra liên tục vào luồng đầu ra.

Dịch vụ dự đoán - thời gian thực

Bản ghi đơn lẻ

Dự đoán tức thì

Tương tác thời gian thực.

Dịch vụ dự đoán - trên thiết bị biên

Thiết bị di động

Thiết bị IoT

Độ trễ giảm

Ứng dụng IoT chạy trên máy tính bảng.

Chiến lược triển khai

Kiểu phục vụ ML quyết định cách triển khai và cập nhật dịch vụ dự đoán

Chiến lược triển khai gồm:

Shadow deployment
Canary deployment
A/B testing
Blue/Green

A/B testing

Sơ đồ A/B testing trong dịch vụ dự đoán đã triển khai. Yêu cầu dự đoán đi vào bộ cân bằng tải, được phân phối đến mô hình A và B. Hiệu năng được giám sát liên tục.

A/B testing

Sơ đồ triển khai A/B. Sau khi theo dõi đủ lâu, mô hình B tốt hơn. Hệ thống chuyển toàn bộ lưu lượng sang mô hình hiệu quả nhất này.

Triển khai shadow

Sơ đồ shadow deployment. Yêu cầu dự đoán đi vào bộ cân bằng tải, được gửi đến cả mô hình live và shadow. Chỉ mô hình live trả về dự đoán. Hiệu năng cả hai mô hình được giám sát liên tục.

Triển khai Blue/Green

Triển khai blue/green. Mô hình chạy live trong môi trường blue.

Triển khai Blue/Green

Mô hình mới được triển khai vào bản sao của môi trường blue (môi trường green). Bộ chuyển lưu lượng tự động chuyển yêu cầu từ blue sang green.

Triển khai Blue/Green

Toàn bộ lưu lượng được chuyển dần và tự động từ môi trường blue sang green.

Triển khai Blue/Green

Sau khi chuyển xong lưu lượng, có thể xóa môi trường blue. Môi trường green với mô hình mới trở thành môi trường production.

Triển khai và cập nhật dịch vụ dự đoán

Kiểu mô hình quyết định chiến lược triển khai

Bảng các chiến lược triển khai và thuộc tính theo 4 chiều: Không downtime, Theo điều kiện, Thời gian rollback, và chi phí bổ sung.

Ayo berlatih!

MLOps Tự động hoá Hoàn toàn