Du déploiement manuel à l'automatisation

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Le problème du déploiement manuel

$$

  • Configurer les jobs via l'interface (UI), un par un
  • Copier les notebooks dans la prod manuellement
  • Les paramètres dérivent entre préprod et prod
  • Impossible de reproduire un déploiement de zéro

$$

recraft: half: Une personne à un bureau encombré de pense-bêtes et de papiers disparates, illustrant le chaos des processus de déploiement manuels

Introduction à Databricks Lakehouse

Pourquoi c'est crucial à l'échelle

$$

  • Un projet type a des jobs, pipelines, clusters, permissions et horaires
  • Chacun configuré séparément dans l'UI
  • Un membre part : sa connaissance de la config part avec lui
  • Un audit demande « qu'est-ce qui a changé le mois dernier ? » – aucune réponse claire

$$

recraft: half: Un tableau blanc de bureau couvert de schémas emmêlés, de notes barrées et de points d'interrogation, représentant la perte de savoir interne et le chaos des configurations

Introduction à Databricks Lakehouse

Qu'est-ce que les Databricks Asset Bundles ?

$$

radial: Databricks Asset Bundles

$$

  • Tout dans un dossier de projet, versionné dans Git, déployé avec une seule commande CLI
Introduction à Databricks Lakehouse

Atouts des DAB

$$

  • Reproductible : même configuration à chaque déploiement
  • Versionné : changements suivis dans Git
  • Promotion d'environnements : dev → préprod → prod
  • Intégration CI/CD : déploiements automatisés dans les pipelines

$$

recraft: half: Une chaîne d'assemblage fabriquant des boîtes identiques à la suite sur un tapis roulant, symbolisant un déploiement automatisé reproductible

Introduction à Databricks Lakehouse

Traditionnel vs DAB

$$

Traditionnel DAB
Configuration Clics dans l'UI Fichiers YAML dans Git
Reproductibilité Manuelle, sujette aux erreurs Automatisée, cohérente
Promotion d'environnement Copier et reconfigurer bundle deploy --target prod
Rétrogradation Recréer de mémoire git revert + redéploiement
Collaboration Une personne à la fois Workflow Git complet

Introduction à Databricks Lakehouse

Résumé

$$

  • Le déploiement manuel via l'UI est fragile et ne passe pas à l'échelle
  • Les Databricks Asset Bundles décrivent votre projet en YAML
  • Bénéfices : reproductibilité, gestion de versions, CI/CD, promotion d'environnements
  • Tout est dans Git : une seule source de vérité pour votre déploiement
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...