Databricks'te MLFlow ile model eğitimi

Databricks Kavramları

Kevin Barlow

Data Practitioner

Makine Öğrenimi Yaşam Döngüsü

Makine Öğrenimi Yaşam Döngüsü

1 https://www.datacamp.com/blog/machine-learning-lifecycle-explained
Databricks Kavramları

Model eğitimi ve geliştirme

Makine Öğrenimi Yaşam Döngüsü - Modelleme

Databricks Kavramları

Tek düğüm vs. çok düğüm

Tek düğümlü makine öğrenimi

  • Denemeler ve başlangıç için idealdir
  • İlk kurulum daha kolaydır
  • Üretimde uygulaması zordur

scikit-learn logosu

Çok düğümlü makine öğrenimi

  • Üretim iş yükleri için idealdir
  • Uzun vadede bakımı daha kolaydır
  • Yüksek ölçeklenebilirlik

Apache Spark logosu

Databricks Kavramları

AutoML

  • Otomatik makine öğreniminde “cam kutu” yaklaşımı
  • Açık kaynak kütüphanelerden yararlanır
  • Veriye ve hedef tahmine göre modeller oluşturur
  • İleri çalışma için oluşturulan kodu içeren bir notebook sunar

AutoML örneği

1 https://www.databricks.com/product/automl
Databricks Kavramları

MLFlow

  • Açık kaynak çerçeve
  • Uçtan uca makine öğrenimi yaşam döngüsü yönetimi
  • İzleme, değerlendirme, yönetim ve dağıtım
  • ML Runtime'da önceden yüklü!

MLFlow Logosu

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)
Databricks Kavramları

MLFlow Deneyleri

  • Birden çok çalışmadaki bilgileri tek yerde toplayın
  • Çalışmaları sıralayın ve karşılaştırın
  • En iyi modeli bulun ve terfi ettirin

MLFlow Deneyleri

Databricks Kavramları

Hadi pratik yapalım!

Databricks Kavramları

Preparing Video For Download...