Overzicht van Lakehouse AI

Databricks-concepten

Kevin Barlow

Data Practitioner

Lakehouse AI

Lakehouse-overzichtsdiagram

Waarom de Lakehouse voor AI/ML?

  1. Betrouwbare data en bestanden in de Delta Lake
  2. Sterk schaalbare compute
  3. Open standaarden, libraries, frameworks
  4. Integratie met andere datateams
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Databricks-concepten

MLOps-levenscyclus

Machine-learning-levenscyclusdiagram

Databricks-concepten

MLOps in de Lakehouse

DataOps

DataOps

  • Data integreren uit verschillende bronnen (AutoLoader)
  • Data transformeren naar bruikbaar, schoon formaat (Delta Live Tables)
  • Nuttige features voor modellen maken (Feature Store)
Databricks-concepten

MLOps in de Lakehouse

ModelOps

ModelOps

  • Ontwikkel en train verschillende modellen (Notebooks)
  • ML-templates en automatisering (AutoML)
  • Volg parameters, metrics en trials (MLFlow)
  • Centraliseer en consumeer modellen (Model Registry)
Databricks-concepten

MLOps in de Lakehouse

DevOps

DevOps

  • Beheer toegang tot verschillende modellen (Unity Catalog)
  • CI/CD voor modelversies (Model Registry)
  • Modelleer implementeren voor gebruik (Serving Endpoints)
Databricks-concepten

Laten we het herhalen!

Databricks-concepten

Preparing Video For Download...