Przegląd Lakehouse AI

Koncepcje Databricks

Kevin Barlow

Data Practitioner

Lakehouse AI

Diagram architektury Lakehouse

Dlaczego Lakehouse do AI / ML?

  1. Niezawodne dane i pliki w Delta Lake
  2. Wysoce skalowalne obliczenia
  3. Otwarte standardy, biblioteki i frameworki
  4. Integracja z innymi zespołami ds. danych
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Koncepcje Databricks

Cykl życia MLOps

Diagram cyklu życia uczenia maszynowego

Koncepcje Databricks

MLOps w Lakehouse

DataOps

DataOps

  • Integracja danych z różnych źródeł (AutoLoader)
  • Przekształcanie danych do użytecznego formatu (Delta Live Tables)
  • Tworzenie cech dla modeli (Feature Store)
Koncepcje Databricks

MLOps w Lakehouse

ModelOps

ModelOps

  • Tworzenie i trenowanie modeli (Notebooks)
  • Szablony i automatyzacja uczenia maszynowego (AutoML)
  • Śledzenie parametrów, metryk i prób (MLFlow)
  • Centralizacja i korzystanie z modeli (Model Registry)
Koncepcje Databricks

MLOps w Lakehouse

DevOps

DevOps

  • Zarządzanie dostępem do modeli (Unity Catalog)
  • Ciągła integracja i wdrażanie (CI/CD) wersji modeli (Model Registry)
  • Wdrażanie modeli do użycia (Serving Endpoints)
Koncepcje Databricks

Powtórzenie!

Koncepcje Databricks

Preparing Video For Download...