Pourquoi le Lakehouse ?

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Ce que vous allez apprendre

$$

$$

Logo empilé en couleurs

$$

Explorer Databricks Lakehouse

  1. Comment les données sont organisées dans un lakehouse
  2. Gérer le compute et les notebooks
  3. Gouverner et partager les données en sécurité
  4. Déployer en production
Introduction à Databricks Lakehouse

Faites connaissance avec l’instructeur

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australie (2021–présent)

  • 9 + ans d'expérience post-PhD

Introduction à Databricks Lakehouse

La promesse du data lake

$$

recraft: half: Un vaste entrepôt ouvert rempli de tonneaux et caisses colorés de tailles variées, représentant le stockage de données brutes diverses

$$

  • Stocker toutes les données à faible coût
  • Structurées, semi-structurées, non structurées
  • Schéma à la lecture flexible
Introduction à Databricks Lakehouse

Le côté obscur du lake

$$

  • Aucune garantie de qualité des données
  • Pas de gouvernance ni de contrôle d'accès intégrés
  • « Data swamp » : difficile de trouver des données fiables
  • Outils séparés pour l'analytique et l'IA

$$

recraft: half: Un marécage sombre et trouble avec des lianes emmêlées et des fichiers éparpillés sombrant dans la boue, représentant un data swamp où les données se perdent et ne sont pas fiables

Introduction à Databricks Lakehouse

Le compromis du data warehouse

$$

  • Fiable et performant
  • Gouvernance solide
  • Mais coûteux et rigide
  • Limité aux seules données structurées

$$

recraft: half: Une bibliothèque ordonnée avec des livres bien rangés sur des étagères, représentant un stockage de données structuré fiable

Introduction à Databricks Lakehouse

Place au Lakehouse

$$

comparaison : Data Lake, Flexible, Peu coûteux, Non structuré | Data Warehouse, Fiable, Gouverné, Rigide

Introduction à Databricks Lakehouse

Pourquoi ça fonctionne dans Databricks ?

$$

  • Formats de fichiers ouverts (Delta Lake)
  • Transactions ACID sur le lake
  • Gouvernance unifiée (Unity Catalog)
  • Une plateforme pour analytique, IA et apps

$$

nanobanana: half: Quatre blocs empilés formant une tour, de bas en haut : Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, style infographique moderne et épuré

Introduction à Databricks Lakehouse

Le Lakehouse améliore la qualité des données

$$

organigramme : Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • Contrôle de schéma à l'écriture
  • Des journaux de transactions tracent chaque changement
  • Time travel : requêter des versions historiques
Introduction à Databricks Lakehouse

Récapitulatif

$$

  • Data lakes : flexibles mais peu fiables
  • Data warehouses : fiables mais rigides et coûteux
  • Lakehouse : combine les deux, une seule plateforme
  • Propulsé par Delta Lake, ACID et Unity Catalog
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...