MLOps trên Kubernetes

Nhập môn Kubernetes

Frank Heilmann

Platform Architect and Freelance Instructor

MLOps là gì?

  • Mô hình triển khai và vận hành mô hình học máy trong sản xuất
  • Quy trình tốt nhất tập trung vào phát triển liên tục các mô hình này
  • Lấy cảm hứng từ DevOps:
    • Mô hình được phát triển, kiểm thử trong hệ thống thử nghiệm tách biệt, rồi đưa lên sản xuất
    • Khi ở sản xuất, giám sát liên tục; có thể kích hoạt huấn luyện lại
  • Nhà khoa học dữ liệu, kỹ sư dữ liệu và IT có thể cùng làm trên mô hình đã triển khai và đảm bảo độ chính xác
Nhập môn Kubernetes

Triển khai MLOps trên Kubernetes

  • Mô hình MLOps rất phù hợp với Kubernetes:

    • Hệ thống thử nghiệm tách biệt: hiện thực bằng Pod và Kubernetes Storage
    • Giám sát mô hình ML sản xuất: dựa vào vòng đời Pod (và phiên bản image triển khai)
    • Làm việc đồng bộ về độ chính xác mô hình: có sẵn ngay từ kiến trúc Kubernetes

  • Có nhiều framework MLOps; hai giải pháp mã nguồn mở phổ biến nhất là

Nhập môn Kubernetes

Kubeflow - Tổng quan

Tổng quan Kubeflow

  • Kubeflow cho phép triển khai đơn giản các quy trình ML trên Kubernetes
  • Bao phủ mọi bước của vòng đời mô hình ML
  • Gồm nhiều thành phần cho từng bước, hoạt động độc lập
  • Có thể dùng Python để phát triển và triển khai mô hình ML qua API
    • không cần dùng kubectl
Nhập môn Kubernetes

Hãy thực hành!

Nhập môn Kubernetes

Preparing Video For Download...