Databricks में MLFlow के साथ मॉडल ट्रेनिंग

Databricks कॉन्सेप्ट्स

Kevin Barlow

Data Practitioner

मशीन लर्निंग लाइफसाइकल

मशीन लर्निंग लाइफसाइकल

1 https://www.datacamp.com/blog/machine-learning-lifecycle-explained
Databricks कॉन्सेप्ट्स

मॉडल ट्रेनिंग और डेवलपमेंट

मशीन लर्निंग लाइफसाइकल - मॉडलिंग

Databricks कॉन्सेप्ट्स

सिंगल-नोड बनाम मल्टी-नोड

सिंगल-नोड मशीन लर्निंग

  • प्रयोग और शुरुआत के लिए बढ़िया
  • शुरुआती सेटअप आसान
  • प्रोडक्शन में लागू करना कठिन

scikit-learn लोगो

मल्टी-नोड मशीन लर्निंग

  • प्रोडक्शन वर्कलोड्स के लिए उत्तम
  • लंबे समय में मेंटेन करना आसान
  • अत्यधिक स्केलेबल

Apache Spark लोगो

Databricks कॉन्सेप्ट्स

AutoML

  • ऑटोमेटेड मशीन लर्निंग के लिए "ग्लास बॉक्स" अप्रोच
  • ओपन-सोर्स लाइब्रेरीज़ का लाभ उठाता है
  • डेटा और लक्ष्य प्रेडिक्शन पर आधारित मॉडल बनाता है
  • आगे के लिए जेनरेटेड कोड वाला नोटबुक देता है

AutoML उदाहरण

1 https://www.databricks.com/product/automl
Databricks कॉन्सेप्ट्स

MLFlow

  • ओपन-सोर्स फ्रेमवर्क
  • एंड-टू-एंड मशीन लर्निंग लाइफसाइकल मैनेजमेंट
  • ट्रैक, इवैल्यूएट, मैनेज, और डिप्लॉय
  • ML Runtime पर प्री-इंस्टॉल्ड!

MLFlow लोगो

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)
Databricks कॉन्सेप्ट्स

MLFlow Experiments

  • कई रन से जानकारी एक जगह इकट्ठा करें
  • मॉडल रन को सॉर्ट करें और तुलना करें
  • सर्वश्रेष्ठ मॉडल खोजें और प्रमोट करें

MLFlow एक्सपेरिमेंट्स

Databricks कॉन्सेप्ट्स

अभ्यास करते हैं!

Databricks कॉन्सेप्ट्स

Preparing Video For Download...