Översikt av Lakehouse AI

Databricks – grundläggande koncept

Kevin Barlow

Data Practitioner

Lakehouse AI

Lakehouse High Level Diagram

Varför Lakehouse för AI/ML?

  1. Tillförlitliga data och filer i Delta lake
  2. Mycket skalbar beräkningskraft
  3. Öppna standarder, bibliotek och ramverk
  4. Enhetlighet med andra datateam
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Databricks – grundläggande koncept

MLOps-livscykel

Diagram över maskininlärningens livscykel

Databricks – grundläggande koncept

MLOps i Lakehouse

DataOps

DataOps

  • Integrera data från olika källor (AutoLoader)
  • Omvandla data till ett användbart, rent format (Delta Live Tables)
  • Skapa användbara särdrag för modeller (Feature Store)
Databricks – grundläggande koncept

MLOps i Lakehouse

ModelOps

ModelOps

  • Utveckla och träna olika modeller (Notebooks)
  • Mallar och automatisering för maskininlärning (AutoML)
  • Spåra parametrar, mätvärden och körningar (MLFlow)
  • Centralisera och konsumera modeller (Model Registry)
Databricks – grundläggande koncept

MLOps i Lakehouse

DevOps

DevOps

  • Styr åtkomst till olika modeller (Unity Catalog)
  • Kontinuerlig integration och driftsättning (CI/CD) för modellversioner (Model Registry)
  • Driftsätt modeller för konsumtion (Serving Endpoints)
Databricks – grundläggande koncept

Nu kör vi en övning!

Databricks – grundläggande koncept

Preparing Video For Download...