Pourquoi le Lakehouse?

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Ce que vous allez apprendre

Logo empilé en couleurs

Explorer Databricks Lakehouse

Comment les données sont organisées dans un lakehouse
Gérer la puissance de calcul et les carnets
Gouverner et partager les données en toute sécurité
Déployer votre travail en production

Faites connaissance avec l'instructeur

Gang Wang

Scientifique des données principal
Origin Energy, Australie (2021 à aujourd'hui)
Plus de 9 ans d'expérience postdoctorale

La promesse du lac de données

recraft: half: Un grand entrepôt ouvert rempli de barils et de caisses colorés de tailles variées, représentant le stockage de données brutes diversifié

Stocker toutes les données à faible coût
Structurées, semi-structurées, non structurées
Schéma à la lecture flexible

Le côté obscur du lac

Aucune garantie sur la qualité des données
Aucune gouvernance ni contrôle d'accès intégrés
« Data swamp » : données fiables difficiles à trouver
Outils distincts requis pour l'analytique et l'IA

recraft: half: Un marais sombre et trouble avec des lianes emmêlées et des fichiers éparpillés s'enfonçant dans l'eau boueuse, représentant un marais de données avec des données perdues et peu fiables

Le compromis de l'entrepôt de données

Fiable et performant
Gouvernance robuste
Mais coûteux et rigide
Limité aux données structurées seulement

recraft: half: Une bibliothèque bien rangée avec des livres empilés soigneusement sur les étagères, représentant un stockage de données structuré et fiable

Place au Lakehouse

comparaison : Data Lake, Flexible, Peu coûteux, Non structuré | Data Warehouse, Fiable, Gouverné, Rigide

Pourquoi ça fonctionne dans Databricks?

Formats de fichiers ouverts (Delta Lake)
Transactions ACID sur le lac
Gouvernance unifiée (Unity Catalog)
Une plateforme pour l'analytique, l'IA et les applis

nanobanana: half: Quatre blocs empilés formant une tour, étiquetés de bas en haut : Formats ouverts (Delta Lake), Transactions ACID, Gouvernance unifiée (Unity Catalog), Une plateforme pour l'analytique et l'IA, style infographique moderne et épuré

Le Lakehouse améliore la qualité des données

organigramme : Données brutes, Application du schéma, Transactions ACID, Gouverné et fiable

Application du schéma à l'écriture
Journaux de transactions pour chaque changement
Remontée dans le temps : interroger des versions historiques

Résumé

Lacs de données : flexibles mais peu fiables
Entrepôts de données : fiables mais rigides et coûteux
Lakehouse : combine les deux, une seule plateforme
Propulsé par Delta Lake, ACID et Unity Catalog

Passons à la pratique !

Introduction à Databricks Lakehouse