Trenowanie modeli z MLFlow w Databricks

Koncepcje Databricks

Kevin Barlow

Data Practitioner

Cykl życia uczenia maszynowego

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Trenowanie i tworzenie modeli

Cykl życia ML – modelowanie

Pojedynczy węzeł vs. wiele węzłów

Uczenie maszynowe na pojedynczym węźle

Idealne do eksperymentowania i rozpoczęcia pracy
Łatwiejsza konfiguracja wstępna
Trudne do wdrożenia produkcyjnego

Logo scikit-learn

Uczenie maszynowe na wielu węzłach

Idealne do obciążeń produkcyjnych
Łatwiejsze utrzymanie długoterminowe
Wysoka skalowalność

Logo Apache Spark

AutoML

Podejście „szklanej skrzynki" do automatycznego ML
Wykorzystuje biblioteki open-source
Tworzy modele na podstawie danych i celu predykcji
Dostarcza notatnik z wygenerowanym kodem do dalszej pracy

Przykład AutoML

¹ https://www.databricks.com/product/automl

MLFlow

Framework open-source
Zarządzanie cyklem życia ML
Śledzenie, ocena, zarządzanie i wdrażanie
Preinstalowany w ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

Eksperymenty MLFlow

Zbieranie informacji z wielu przebiegów w jednym miejscu
Sortowanie i porównywanie przebiegów modeli
Znajdowanie i promowanie najlepszego modelu

Eksperymenty MLFlow

Czas na ćwiczenia!

Koncepcje Databricks