การเทรนโมเดลด้วย MLFlow ใน Databricks

แนวคิด Databricks

Kevin Barlow

Data Practitioner

วงจรชีวิต Machine Learning

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

การเทรนและพัฒนาโมเดล

วงจรชีวิต Machine Learning - การสร้างโมเดล

Single-node vs. Multi-node

Machine learning แบบ Single-node

เหมาะสำหรับการทดลองและเริ่มต้นใช้งาน
ติดตั้งเริ่มต้นได้ง่าย
นำไปใช้งาน production ได้ยาก

โลโก้ scikit-learn

Machine learning แบบ Multi-node

เหมาะสำหรับงาน production
ดูแลรักษาในระยะยาวได้ง่ายกว่า
รองรับการขยายขนาดได้สูง

โลโก้ Apache Spark

AutoML

แนวทาง "Glass box" สำหรับ automated machine learning
ใช้ประโยชน์จากไลบรารีโอเพนซอร์ส
สร้างโมเดลจากข้อมูลและเป้าหมายการพยากรณ์
สร้าง notebook พร้อมโค้ดสำหรับการพัฒนาต่อ

ตัวอย่าง AutoML

¹ https://www.databricks.com/product/automl

MLFlow

เฟรมเวิร์กโอเพนซอร์ส
จัดการวงจรชีวิต machine learning แบบครบวงจร
ติดตาม ประเมิน จัดการ และ deploy โมเดล
ติดตั้งมาพร้อมกับ ML Runtime แล้ว!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

MLFlow Experiments

รวบรวมข้อมูลจากหลาย run ไว้ในที่เดียว
จัดเรียงและเปรียบเทียบผลการรันโมเดล
ค้นหาและโปรโมตโมเดลที่ดีที่สุด

MLFlow Experiments

มาฝึกกันเถอะ!

แนวคิด Databricks