Aperçu de Lakehouse AI

Concepts de Databricks

Kevin Barlow

Data Practitioner

Lakehouse AI

Schéma de haut niveau du Lakehouse

Pourquoi le Lakehouse pour l'IA / le ML ?

  1. Données et fichiers fiables dans le lac Delta
  2. Calcul hautement évolutif
  3. Normes, bibliothèques et cadres ouverts
  4. Unification avec les autres équipes données
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Concepts de Databricks

Cycle de vie MLOps

Schéma du cycle de vie du Machine Learning

Concepts de Databricks

MLOps dans le Lakehouse

DataOps

DataOps

  • Intégrer des données de différentes sources (AutoLoader)
  • Transformer les données en format propre et exploitable (Delta Live Tables)
  • Créer des caractéristiques utiles pour les modèles (Feature Store)
Concepts de Databricks

MLOps dans le Lakehouse

ModelOps

ModelOps

  • Développer et entraîner divers modèles (Notebooks)
  • Gabarits et automatisation pour le Machine Learning (AutoML)
  • Suivre paramètres, mesures et essais (MLFlow)
  • Centraliser et consommer les modèles (Model Registry)
Concepts de Databricks

MLOps dans le Lakehouse

DevOps

DevOps

  • Gérer l'accès aux différents modèles (Unity Catalog)
  • Intégration et déploiement continus (CI/CD) des versions de modèles (Model Registry)
  • Déployer des modèles pour la consommation (Serving Endpoints)
Concepts de Databricks

Révisons !

Concepts de Databricks

Preparing Video For Download...