Pelatihan model dengan MLFlow di Databricks

Konsep Databricks

Kevin Barlow

Data Practitioner

Siklus Hidup Machine Learning

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Pelatihan dan pengembangan model

Siklus Hidup Machine Learning - Pemodelan

Single-node vs. Multi-node

Machine learning single-node

Cocok untuk eksperimen dan mulai cepat
Penyiapan awal lebih mudah
Sulit diimplementasikan di produksi

logo scikit-learn

Machine learning multi-node

Cocok untuk beban kerja produksi
Perawatan jangka panjang lebih mudah
Sangat skalabel

logo Apache Spark

AutoML

Pendekatan "glass box" untuk automated machine learning
Memanfaatkan pustaka open-source
Membuat model dari data dan target prediksi
Menyediakan notebook dengan kode yang dihasilkan untuk lanjutan

Contoh AutoML

¹ https://www.databricks.com/product/automl

MLFlow

Kerangka kerja open-source
Manajemen siklus hidup machine learning end-to-end
Lacak, evaluasi, kelola, dan deploy
Sudah terpasang di ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

Eksperimen MLFlow

Kumpulkan info dari banyak run di satu tempat
Urutkan dan bandingkan run model
Temukan dan promosikan model terbaik

Eksperimen MLFlow

Ayo berlatih!

Konsep Databricks