Cách đội ngũ MLOps vận hành hiệu quả

MLOps cho Doanh nghiệp

Arne Jonas Warnke

Head of Emerging Curriculum

Tác động hạn chế của máy học (trước đây)

Trước đây, các công ty dùng cách tiếp cận thử nghiệm cho máy học.

Một số vấn đề:

  • Ngăn silo
  • Mô hình hiếm khi vào sản xuất
  • Thời gian phát triển dài
  • Ít hoặc không có tự động hóa
  • Thiếu khả năng tái lập

Ảnh đen trắng một người trước máy tính thập niên 1980

MLOps cho Doanh nghiệp

Cách đội ngũ MLOps vận hành hiệu quả

$$

Trong video này

  • Ít tập trung vào công nghệ
  • Xem các thực hành DevOps thành công
MLOps cho Doanh nghiệp

Nhắc lại DevOps

Mục tiêu DevOps

  • Tăng hợp tác giữa dev và ops

Phát triển tập trung

  • Nâng cao trải nghiệm người dùng
  • Yêu cầu kinh doanh mới

Vận hành hướng tới

  • Ổn định và dễ bảo trì

DevOps

1 Kim et al. (2021). The DevOps handbook: How to create world-class agility, reliability, & security in technology organizations. IT Revolution.
MLOps cho Doanh nghiệp

Thực hành DevOps phổ biến

  • Triển khai liên tục
    • Phát hành mã thường xuyên, nhỏ, ổn định
    • Ví dụ: liên tục thêm tính năng nhỏ (hoặc đổi mã nhỏ)
  • Tự động hóa kiểm thử và phát hành
  • Giám sát, dễ "roll-back"
  • Tích hợp liên tục

$$ Bản thiết kế phát hành phần mềm

1 Leite et al. (2019). A survey of DevOps concepts and challenges. ACM Computing Surveys (CSUR), 52(6), 1-35.
MLOps cho Doanh nghiệp

Xử lý sự cố

Vòng lặp DevOps $$ Màn hình xanh

  • Vòng phản hồi
    • Kiểm thử tự động
    • Phát hiện lỗi sớm
  • Khi có sự cố
    • Phân tích nguyên nhân gốc
    • Hậu kiểm không đổ lỗi
    • Học hỏi, chia sẻ tri thức, cải tiến
MLOps cho Doanh nghiệp

Con người và đội ngũ

MLOps/DevOps là về hợp tác

  • Mỗi công ty tổ chức đội ngũ khác nhau

$$

Điểm chung

  • Tự chủ
  • Mục tiêu/khuyến khích chung
  • Vòng phản hồi và học hỏi
  • Niềm tin
  • Khuyến khích chấp nhận rủi ro

$$ Mọi người hợp tác

MLOps cho Doanh nghiệp

Thử nghiệm

Nhắm tới chất lượng cao qua thử nghiệm

  • A/B testing (thí nghiệm ngẫu nhiên)
  • Cố ý tiêm lỗi để thử

$$ Thí nghiệm trong phòng lab

MLOps cho Doanh nghiệp

Ayo berlatih!

MLOps cho Doanh nghiệp

Preparing Video For Download...