Kiến trúc tham chiếu: MLOps tự động hoàn toàn

MLOps Tự động hoá Hoàn toàn

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Kiến trúc tham chiếu là gì?

Kiến trúc tham chiếu là một mẫu để thiết kế giải pháp trong các miền CNTT khác nhau.

Bộ tài liệu gồm:

Cấu trúc và tích hợp các thành phần CNTT
Mẫu thường thấy trong hệ thống CNTT, bao gồm hệ thống ML
Tận dụng kinh nghiệm và thực tiễn tốt nhất từ các bên trong ngành

Kiến trúc MLOps tự động hoàn toàn

Hình tổng quan cấp cao về kiến trúc tham chiếu MLOps tự động hoàn toàn.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Kiến trúc tham chiếu - Thí nghiệm được điều phối

Hình tổng quan cấp cao về kiến trúc tham chiếu MLOps tự động hoàn toàn. Hình thu phóng vào một nhóm hộp liên kết: từ trái sang phải, phân tích dữ liệu, thí nghiệm được điều phối, mã nguồn, kho mã nguồn.

Kiến trúc tham chiếu - Mã nguồn & CI

Hình dịch sang trái. Sau kho mã nguồn là khối tích hợp liên tục, có hộp build tạo các gói đầu ra.

Kiến trúc tham chiếu - Tạo hiện vật & CD

Hình ảnh trượt xuống để hiển thị hộp continuous delivery.

Kiến trúc tham chiếu - Triển khai pipeline ML

Hình dịch sang trái hiển thị pipeline ML tự động với các bước: trích xuất dữ liệu, kiểm tra dữ liệu, chuẩn bị dữ liệu, huấn luyện mô hình, đánh giá mô hình, kiểm định mô hình.

Kiến trúc tham chiếu - Kho siêu dữ liệu

Hình ảnh trượt xuống cho thấy Metadata Store thu thập log do pipeline ML tạo ra.

Kiến trúc tham chiếu - Sổ đăng ký mô hình

Hình trượt lên và sang phải cho thấy các mô hình do pipeline ML huấn luyện được đẩy vào sổ đăng ký mô hình.

Kiến trúc tham chiếu - Dịch vụ dự đoán

Hình trượt xuống cho thấy các mô hình do pipeline ML huấn luyện được bàn giao liên tục tới mô-đun dịch vụ dự đoán trong kiến trúc.

Kiến trúc tham chiếu - Giám sát liên tục

Hình dịch sang trái cho thấy có thành phần giám sát hiệu năng theo dõi hiệu năng dự đoán do dịch vụ dự đoán cung cấp.

Kiến trúc tham chiếu - Kích hoạt tự động

Hình dịch sang trái hơn nữa cho thấy có thành phần kích hoạt nối với mô-đun giám sát hiệu năng

Kiến trúc tham chiếu - Huấn luyện lại tự động

Hình trượt lên cho thấy bộ kích hoạt có thể khởi động pipeline ML tự động trong hệ thống.