Rassembler le tout

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Le scénario

Vous êtes ingénieur·e de données et démarrez un nouveau projet dans une entreprise de vente au détail
Objectif : configurer le calcul, vérifier le pipeline de données, contrôler la gouvernance et préparer le déploiement

recraft: half: Un·e ingénieur·e de données à un bureau moderne avec un portable affichant une interface de type Databricks, et des schémas de pipeline sur un tableau derrière, illustrant l'intégration à un nouveau projet de données

Étape 1 : choisir le bon calcul

Le pipeline s'exécute chaque nuit selon un horaire
Aucun développement interactif requis
Un cluster de tâches avec un environnement LTS convient
Activer l'auto‑mise à l'échelle (2–6 travailleurs) pour le volume variable

	Polyvalent	Cluster de tâches
Mode	Interactif	Automatisé
Gestion	Manuelle	Arrêt automatique
Coût	Plus élevé (temps d'inactivité)	Optimisé pour les coûts

Étape 2 : vérifier la filière « médaillon »

SELECT COUNT(*) FROM bronze_sales;
-- 1,247,832 rows

SELECT COUNT(*) FROM silver_sales;
-- 1,189,456 rows (nulls removed)

SELECT COUNT(*) FROM gold_daily_revenue;
-- 365 rows (daily aggregates)

Bronze : données brutes, plus grand nombre de lignes
Silver : nettoyées, valeurs nulles et doublons retirés
Gold : agrégées pour les rapports d'affaires
Le nombre de lignes baisse à mesure que la qualité augmente

Étape 3 : vérifier la gouvernance

Allez dans Unity Catalog et examinez la table gold_daily_revenue
Remontez la lignée pour confirmer la lecture depuis silver_sales
Vérifiez les contrôles d'accès : seule l'équipe analytique a SELECT sur gold
Confirmez que Delta Sharing est configuré pour le partenaire externe

recraft: half: Une loupe sur un graphe de lignée de données montrant des nœuds de tables reliés avec des coches, représentant la vérification de la gouvernance

Étape 4 : préparer le déploiement

Passer en revue l'Asset Bundle databricks.yml
Confirmer que la ressource de tâche nocturne est définie
Vérifier que la cible de production pointe vers le bon chemin d'espace de travail
Exécuter bundle validate avant le déploiement

targets:
  production:
    workspace:
      root_path: /Shared/production
resources:
  jobs:
    nightly_sales_etl:
      schedule:
        quartz_cron: "0 0 3 * * ?"

Résumé

Calcul : choisir le bon type de cluster (cluster de tâches pour l'automatisation)
Données : valider l'écoulement des couches « médaillon »
Gouvernance : lignée, accès, partage à confirmer
Déploiement : revoir l'Asset Bundle, valider, déployer

Passons à la pratique !

Introduction à Databricks Lakehouse