Theo dõi thí nghiệm tự động

MLOps Tự động hoá Hoàn toàn

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

ML có tính chất thực nghiệm

Nhiều “đòn bẩy” để thử nghiệm:

  • Biến đổi dữ liệu
    • Tập đặc trưng dùng
  • Thuật toán huấn luyện
    • Tinh chỉnh siêu tham số
  • Chỉ số đánh giá
    • Precision, recall, v.v.
MLOps Tự động hoá Hoàn toàn

Không gian khả năng rất lớn!

$$

Ảnh nhiều ăng-ten hướng lên bầu trời đầy sao, minh họa một không gian rộng lớn khó khám phá hết.

MLOps Tự động hoá Hoàn toàn

Vấn đề của quy trình ML thủ công

Thiếu tự động hóa = vấn đề trong quy trình ML thủ công

  • Khó theo dõi thí nghiệm và kết quả
  • Lãng phí thời gian và tài nguyên
  • Khó tái lập/chia sẻ kết quả

Hình một nhà khoa học dữ liệu rất căng thẳng trước laptop.

MLOps Tự động hoá Hoàn toàn

Ghi log tự động trong ML

Những nội dung cần log gồm:

  • Code
  • Môi trường
  • Dữ liệu
  • Tham số
  • Chỉ số
MLOps Tự động hoá Hoàn toàn

Tầm quan trọng của ghi log

Ghi log rất quan trọng để:

  • Tái lập thí nghiệm trong hệ thống ML.
  • Theo dõi hiệu năng và ra quyết định có cơ sở.
  • Xác định vấn đề tiềm ẩn để cải tiến.

$$

Tái lập tạo minh bạch và rất cần để hệ thống đáng tin cậy.

MLOps Tự động hoá Hoàn toàn

Hệ thống theo dõi thí nghiệm tự động

$$

Tổ chức log theo mỗi lần chạy hoặc thí nghiệm để:

  • Xem siêu dữ liệu huấn luyện mô hình
  • So sánh các lần huấn luyện
  • Tái lập các lần huấn luyện

$$

Sơ đồ kiến trúc CNTT. Hệ thống theo dõi thí nghiệm có hai phần: giao diện bảng điều khiển và giao diện truy cập lập trình. Người dùng truy cập bảng điều khiển; các thành phần khác dùng truy cập lập trình. Hệ thống theo dõi ghi và đọc từ thành phần lưu trữ log.

MLOps Tự động hoá Hoàn toàn

Theo dõi thí nghiệm tự động - Thị trường hiện nay

Một số công cụ tự động hóa theo dõi thí nghiệm:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Logo Tensorflow.

$$

Logo MLflow.

$$ Logo Weights & Biases.

Logo Neptune.AI.

MLOps Tự động hoá Hoàn toàn

Ayo berlatih!

MLOps Tự động hoá Hoàn toàn

Preparing Video For Download...