Điều phối trong MLOps

MLOps Tự động hoá Hoàn toàn

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Thành phần lõi trong hệ MLOps

Ảnh kiến trúc tham chiếu MLOps với hai phần nổi bật: thí nghiệm được điều phối ở môi trường phát triển và pipeline tự động trong sản xuất.

MLOps Tự động hoá Hoàn toàn

Tính mô-đun & tái sử dụng

Hình với hai pipeline ML, một trên và một dưới. Pipeline trên ở môi trường phát triển & thử nghiệm, pipeline dưới ở sản xuất.

MLOps Tự động hoá Hoàn toàn

Điều phối & tự động hóa

Pipeline ML dùng trong:

  • Phát triển & thử nghiệm

Hình một thành phần: thí nghiệm được điều phối.

  • Sản xuất

Hình một pipeline ML tự động.

MLOps Tự động hoá Hoàn toàn

Đồ thị có hướng không chu trình (DAG) trong MLOps

$$

  • Biểu diễn pipeline dạng đồ thị
  • Bước pipeline là các nút
  • Phụ thuộc giữa bước là các cạnh

Ảnh DAG đơn giản với các bước liên kết trong pipeline ML.

MLOps Tự động hoá Hoàn toàn

Điều phối trong MLOps là gì?

$$

  • Quản lý & tự động hóa luồng tác vụ

$$

  • Lập lịch, giám sát tác vụ

$$

  • Quản lý phụ thuộc và luồng dữ liệu
MLOps Tự động hoá Hoàn toàn

Pipeline ML - phát triển & thử nghiệm

Hình về pipeline ML được điều phối trong môi trường phát triển & thử nghiệm. Pipeline được kích hoạt bởi nhà khoa học dữ liệu và điều phối bởi một thành phần điều phối.

  • Quản lý tác vụ end-to-end khi huấn luyện
  • Dòng chảy đúng, ghi nhận và log
  • Thử nghiệm song song
MLOps Tự động hoá Hoàn toàn

Pipeline ML - sản xuất

Hình về pipeline ML tự động trong môi trường sản xuất. Pipeline được kích hoạt bởi thành phần kích hoạt tự động và điều phối bởi thành phần điều phối.

  • Hỗ trợ tự động hóa triển khai mô hình
  • Quản lý và thực thi các bước pipeline
  • Triển khai nhất quán, đáng tin cậy
MLOps Tự động hoá Hoàn toàn

Ayo berlatih!

MLOps Tự động hoá Hoàn toàn

Preparing Video For Download...