Giới thiệu về CI/CD cho Machine Learning

CI/CD cho Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Tổng quan SDLC

  • SDLC: Software Development Life Cycle
  • Cách tiếp cận hệ thống bao quát phát triển phần mềm từ đầu đến cuối
  • Quy trình SDLC là chuỗi bước để đạt mục tiêu:
    • Build: biên dịch/đóng gói mã, xử lý phụ thuộc
    • Test: đảm bảo chức năng, chất lượng, độ tin cậy của codebase
    • Deploy: đưa phần mềm vào môi trường sử dụng cụ thể

  Sơ đồ phụ thuộc các bước SDLC. Build trước, tiếp theo là test và deploy.

CI/CD cho Machine Learning

SDLC trong machine learning

  • Phát triển machine learning phức tạp và tốn thời gian
    • Mô hình là thuật toán thay đổi động
    • Kỹ thuật dữ liệu rất quan trọng
  • CI/CD giảm lỗi và giúp phân phối phần mềm ML chất lượng cao nhanh hơn
  • Thiết yếu cho ML và thử nghiệm hiệu quả
1 https://cloud.google.com/blog/products/ai-machine-learning/making-the-machine-the-machine-learning-lifecycle
CI/CD cho Machine Learning

CI/CD là gì?

  • Continuous Integration (CI): Thực hành build, test, và gộp thay đổi mã thường xuyên vào kho chung
  • Giúp phát hiện sớm lỗi tích hợp và giữ codebase nhất quán
  • Continuous Delivery (CD): Đảm bảo có thể triển khai lên production mọi lúc nhưng cần phê duyệt thủ công
  • Continuous Deployment (CD): Tự động triển khai lên production không cần can thiệp thủ công
CI/CD cho Machine Learning

CI/CD trong machine learning

  • Phụ thuộc dữ liệu: Chiến lược quản lý và phiên bản dữ liệu
  • Thử nghiệm: Tự động hóa tinh chỉnh siêu tham số
  • Phiên bản mô hình: Tăng cường cộng tác
  • Mô hình kiểm thử: Vượt xa kiểm thử chức năng và đơn vị truyền thống
  • Thách thức triển khai liên tục: Phức tạp trong serving, giám sát và cập nhật mô hình
CI/CD cho Machine Learning

Phạm vi khóa học

Sơ đồ các bước dự án machine learning, nhấn mạnh Chuẩn bị dữ liệu, Phát triển mô hình, và Đánh giá & Tinh chỉnh mô hình.

CI/CD cho Machine Learning

Tóm tắt

  • Quy trình SDLC gồm build, test và deploy mã
  • Continuous Integration (CI) đảm bảo gộp mã thường xuyên, phát hiện lỗi sớm
  • Continuous Delivery (CD) cho phép triển khai với phê duyệt thủ công
  • Continuous Deployment (CD) tự động triển khai không cần can thiệp thủ công
  • CI/CD trong Machine Learning bao gồm
    • Phiên bản dữ liệu
    • Xây dựng và phiên bản mô hình
    • Tự động hóa thử nghiệm
    • Kiểm thử
    • Triển khai
CI/CD cho Machine Learning

Ayo berlatih!

CI/CD cho Machine Learning

Preparing Video For Download...