Kho siêu dữ liệu

MLOps Tự động hoá Hoàn toàn

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Siêu dữ liệu trong MLOps là gì?

  • Siêu dữ liệu là thông tin về các artifact
    • được tạo trong khi thực thi các thành phần của pipeline ML

Một pipeline học máy với các bước: trích xuất dữ liệu, kiểm định dữ liệu, huấn luyện mô hình, đánh giá mô hình, và xác nhận mô hình.

Ví dụ siêu dữ liệu:

  • Phiên bản dữ liệu: Lưu các phiên bản khác nhau của cùng bộ dữ liệu
  • Siêu dữ liệu về artifact huấn luyện như hyperparameter
  • Log thực thi pipeline
1 https://datacentricai.org/
MLOps Tự động hoá Hoàn toàn

Khía cạnh quan trọng của siêu dữ liệu trong ML

$$

  • Dòng dõi dữ liệu

  • Khả năng tái lập

  • Giám sát

  • Tuân thủ quy định

MLOps Tự động hoá Hoàn toàn

Tầm quan trọng của siêu dữ liệu - Dòng dõi dữ liệu

  • Siêu dữ liệu về dòng dõi dữ liệu theo dõi thông tin của dữ liệu:

    • từ điểm tạo ra
    • đến điểm tiêu thụ

Minh họa khái niệm dòng dõi dữ liệu. Cho thấy dữ liệu được biến đổi bởi nhiều quy trình giữa nguồn và nơi sử dụng.

MLOps Tự động hoá Hoàn toàn

Tầm quan trọng của siêu dữ liệu - Khả năng tái lập

  • Siêu dữ liệu về thí nghiệm ML của chúng ta:
    • Cho phép người khác tái lập kết quả
    • Tăng độ tin cậy của hệ thống ML
    • Đưa tính nghiêm ngặt khoa học vào quy trình ML

Hình minh họa khả năng tái lập: dãy nhà khoa học nhìn nhau qua kính thiên văn, muốn tái lập công trình của nhau.

MLOps Tự động hoá Hoàn toàn

Tầm quan trọng của siêu dữ liệu - Giám sát

  • Giúp kỹ sư ML:
    • Theo dõi việc thực thi các phần của pipeline MLOps
    • Kiểm tra trạng thái hệ thống ML mọi lúc
MLOps Tự động hoá Hoàn toàn

Ví dụ công cụ giám sát

Ví dụ bảng điều khiển giám sát hiển thị các chỉ số của hệ thống MLOps đang chạy.

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
MLOps Tự động hoá Hoàn toàn

Kho siêu dữ liệu

  • Nơi tập trung quản lý mọi siêu dữ liệu MLOps về:

    • thí nghiệm (log)
    • artifact
    • mô hình
    • pipeline

  • Có giao diện cho phép:

    • đọc/ghi toàn bộ siêu dữ liệu liên quan đến mô hình

Minh họa kho siêu dữ liệu. Cho thấy kho trung tâm nơi nhiều tác nhân và quy trình truy cập siêu dữ liệu.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
MLOps Tự động hoá Hoàn toàn

Kho siêu dữ liệu trong kiến trúc MLOps

Sơ đồ kiến trúc MLOps tự động hoàn toàn. Thể hiện vai trò trung tâm của kho siêu dữ liệu trong quy trình MLOps.

MLOps Tự động hoá Hoàn toàn

Kho siêu dữ liệu trong MLOps tự động hoàn toàn

Cho phép giám sát tự động hoạt động của pipeline MLOps tự động hoàn toàn

  • Hỗ trợ ứng phó sự cố tự động. Ví dụ:

    • Tự động huấn luyện lại mô hình
    • Tự động rollback

Biểu đồ mô tả huấn luyện lại do drift trong hệ thống ML. Trục x: thời gian, trục y: hiệu suất. Ba đường cong có suy giảm; điểm drift được khoanh và gắn nhãn, tại đó bắt đầu đường hiệu suất mới cho mô hình mới.

MLOps Tự động hoá Hoàn toàn

Ayo berlatih!

MLOps Tự động hoá Hoàn toàn

Preparing Video For Download...