Huấn luyện mô hình với MLFlow trong Databricks

Các khái niệm về Databricks

Kevin Barlow

Data Practitioner

Vòng đời Machine Learning

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Huấn luyện và phát triển mô hình

Vòng đời ML - Mô hình hóa

Một nút vs. đa nút

Machine learning một nút

Tốt để thử nghiệm và bắt đầu
Thiết lập ban đầu dễ hơn
Khó đưa vào sản xuất

logo scikit-learn

Machine learning đa nút

Phù hợp cho tải sản xuất
Bảo trì dài hạn dễ hơn
Mở rộng cao

logo Apache Spark

AutoML

Cách tiếp cận “hộp trong suốt” cho AutoML
Tận dụng thư viện nguồn mở
Tạo mô hình dựa trên dữ liệu và mục tiêu dự đoán
Cung cấp notebook với mã sinh để tiếp tục

Ví dụ AutoML

¹ https://www.databricks.com/product/automl

MLFlow

Khung nguồn mở
Quản lý vòng đời máy học end-to-end
Theo dõi, đánh giá, quản lý và triển khai
Cài sẵn trên ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

MLFlow Experiments

Tổng hợp thông tin từ nhiều lần chạy tại một nơi
Sắp xếp và so sánh các lần chạy mô hình
Tìm và thăng hạng mô hình tốt nhất

Thí nghiệm MLFlow

Hãy thực hành!

Các khái niệm về Databricks