Lakehouse vs entrepôt pour les grandes données

Introduction à Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

Pourquoi Fabric offre différents magasins de données

Magasins de données Fabric : atelier-lac de matières premières et pièces, et entrepôt de boîtes étiquetées sur des étagères

Différents travaux exigent des stockages différents
Lakehouses : données brutes et structurées
Les entrepôts stockent des données structurées

Qu'est-ce qu'un lakehouse ?

Lakehouse comme atelier à deux niveaux où des fichiers CSV et JSON bruts à l'étage deviennent des tables Delta sur les étagères en bas

Comme un atelier flexible
Fichiers bruts (CSV, JSON, Parquet) et tables
Utile pour l'ingénierie et la science des données

Qu'est-ce qu'un entrepôt ?

Comme une réserve gérée
Tables structurées seulement
Conçu pour une analytique axée SQL
Familier pour les analystes et les utilisateurs de bases de données

Entrepôt comme réserve avec un schéma et des étagères étiquetées : tables Revenus, Coûts, Clients et Comptes

Scénarios courants de lakehouse

Fichiers CSV et JSON bruts dans des caisses passant par un établi pour devenir des tables de lakehouse

Les données arrivent en fichiers ; originaux conservés
Transformer les fichiers en tables

Scénarios courants d'entrepôt

Stocker des enregistrements d'affaires validés
Utiliser une structure uniforme

Des données structurées alimentent un entrepôt Fabric de tables à schéma fixe pour la production de rapports, l'analytique, la finance et la gouvernance

Rôle de SQL dans l'analytique en aval

Analytique en aval : travail après l'entreposage
- Interrogation, modélisation et rapports
Les analyses ne nécessitent qu'un sous-ensemble de données
SQL définit quelles données extraire

Fonctionnement de l'analytique en aval

Couche de préparation : tables validées
Couche de modélisation : mesures d'affaires et relations
Couche de rapport : ce que lisent les utilisateurs finaux

Des données préparées d'un lakehouse et d'un entrepôt alimentent un modèle sémantique, qui alimente ensuite un rapport

Lakehouse vs entrepôt

Lakehouse

Stocke des fichiers bruts et des tables
Point de terminaison SQL analytique en lecture seule

Entrepôt

Stocke uniquement des tables
T-SQL complet, y compris INSERT et UPDATE

Passons à la pratique !

Introduction à Microsoft Fabric