Tự động hóa

Phát triển mô hình Machine Learning cho môi trường sản xuất

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Giới thiệu về tự động hóa ML

  • Tự động hóa đảm bảo độ tin cậy và hiệu quả của pipeline ML
  • Giảm rủi ro lỗi do con người
  • Tối ưu quy trình phát triển và triển khai
  • Bốn nguyên tắc MLOps chính:
    • Tích hợp liên tục (CI)
    • Triển khai liên tục (CD)
    • Huấn luyện liên tục (CT)
    • Giám sát liên tục (CM)
Phát triển mô hình Machine Learning cho môi trường sản xuất

Bốn nguyên tắc tự động hóa

Tích hợp liên tục (CI) Thường xuyên hợp nhất thay đổi mã vào kho dùng chung lập trình

Phân phối/triển khai liên tục (CD) Tự động build, test và triển khai thay đổi mã gói hàng

Huấn luyện liên tục (CT) Liên tục huấn luyện và cập nhật mô hình với dữ liệu mới

não bộ

Giám sát liên tục (CM) Theo dõi hiệu năng và độ chính xác của mô hình liên tục màn hình

Phát triển mô hình Machine Learning cho môi trường sản xuất

Tích hợp và triển khai liên tục

Tích hợp liên tục (CI)

  • Đảm bảo mã luôn chạy ổn định
  • Giảm rủi ro lỗi do con người
  • Phát hiện sớm vấn đề

Phân phối/triển khai liên tục (CD)

  • Triển khai mô hình nhanh, nhất quán
  • Rút ngắn thời gian đưa mô hình vào sản xuất
  • Giảm rủi ro lỗi do con người

Công cụ CI/CD: Git, AWS CodePipeline, Jenkins, Travis CI

jenkins

Phát triển mô hình Machine Learning cho môi trường sản xuất

Huấn luyện và giám sát liên tục

Huấn luyện liên tục (CT)

  • Đảm bảo mô hình chính xác và cập nhật
  • Giảm rủi ro suy giảm mô hình
  • Rút ngắn thời gian huấn luyện lại

Giám sát liên tục (CM)

  • Giảm rủi ro suy giảm mô hình
  • Cải thiện độ chính xác tổng thể
  • Truy cập chỉ số ML nhất quán, tin cậy
  • Phát hiện sớm vấn đề

màn hình

Phát triển mô hình Machine Learning cho môi trường sản xuất

Ví dụ tự động hóa ML ở quy mô lớn

  1. CI: Mã mô hình được commit lên Git.

  2. CD: Mã được build và test bằng công cụ CI/CD như Jenkins. Nếu đạt, ta triển khai.

    • Mô hình được tuần tự hóa.
    • Thiết lập phụ thuộc bằng Docker.
    • Triển khai image Docker.

  3. CM: Hiệu năng mô hình được giám sát liên tục.

    • Giám sát hỗ trợ ra quyết định về mô hình.
    • Công cụ CM: Prometheus & Grafana

  4. CT: Huấn luyện mô hình với dữ liệu mới.

  5. Viết mã mới / cập nhật mô hình ... quay lại bước 1

Phát triển mô hình Machine Learning cho môi trường sản xuất

Ayo berlatih!

Phát triển mô hình Machine Learning cho môi trường sản xuất

Preparing Video For Download...