Bảo trì mô hình

Triển khai và Vòng đời MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Trước đó...

  • Làm sao phát hiện bất thường và nhiễu?

 

Trọng tâm bài học: lỗi mô hình ML

Triển khai và Vòng đời MLOps

mô hình xuống cấp

Triển khai và Vòng đời MLOps

cải thiện mô hình

Triển khai và Vòng đời MLOps

cải thiện tập dữ liệu

Triển khai và Vòng đời MLOps

lấy mô hình làm trung tâm

Triển khai và Vòng đời MLOps

lấy dữ liệu làm trung tâm

1 https://datacentricai.org/
Triển khai và Vòng đời MLOps

Chất lượng hơn số lượng

  • Thêm đặc trưng chứa thông tin liên quan
  • Cải thiện nhãn

 

Label == Giá trị biến mục tiêu trong tập huấn luyện

Chất lượng nhãn == mức độ gần với ground truth

Triển khai và Vòng đời MLOps

nhãn kém chất lượng

Triển khai và Vòng đời MLOps

dự đoán kém

Triển khai và Vòng đời MLOps

Lợi ích của công cụ gán nhãn

Gán nhãn thủ công: phức tạp, tốn thời gian, dễ sai

Hãy dùng công cụ gán nhãn tốt!

  • Hiệu quả hơn
  • Chính xác hơn
  • Giao diện phù hợp mục đích
  • "Gán nhãn các ví dụ này trước để tác động lớn nhất"
  • "Có vẻ bạn mắc lỗi ở đây"

công cụ gán nhãn

Ví dụ: Công cụ gán nhãn ảnh để xây dựng bộ phân loại ảnh

Triển khai và Vòng đời MLOps

con người trong vòng lặp

Triển khai và Vòng đời MLOps

HIL 2

Triển khai và Vòng đời MLOps

ý kiến chuyên gia

Triển khai và Vòng đời MLOps

Triển khai và Vòng đời MLOps

Khi có nhãn

  • Chạy pipeline xây dựng ML => Mô hình mới
  • So sánh mô hình mới với mô hình cũ
    • CÓ => kiểm thử và triển khai
    • KHÔNG => tiếp tục tìm kiếm
Triển khai và Vòng đời MLOps

Tiếp tục tìm kiếm

  • Thử mô hình mới
  • Thử đặc trưng mới
  • Thử nguồn dữ liệu mới

 

Rất hữu ích: Metadata store (MLFlow Tracking, v.v.)

  • Ghi lại quá trình chọn mô hình
  • Tránh lặp lại thí nghiệm

 

Dù thế nào: MLOps giúp duy trì mô hình nhanh và hiệu quả nhất

Triển khai và Vòng đời MLOps

Ayo berlatih!

Triển khai và Vòng đời MLOps

Preparing Video For Download...