Du déploiement manuel à l'automatisation

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Le problème du déploiement manuel

$$

  • Configurer les tâches via l'IU, une à la fois
  • Copier les notebooks vers la production manuellement
  • Les réglages dérivent entre préprod et prod
  • Impossible de reproduire un déploiement à partir de zéro

$$

recraft: half: Une personne à un bureau encombré de pense-bêtes et de papiers disparates, représentant le chaos des déploiements manuels

Introduction à Databricks Lakehouse

Pourquoi c'est crucial à grande échelle

$$

  • Un projet type a des tâches, pipelines, grappes, permissions et horaires
  • Chacun configuré séparément dans l'IU
  • Un membre quitte : sa connaissance de la config part avec
  • Un audit demande « qu'est-ce qui a changé le mois dernier ? » : aucune réponse claire

$$

recraft: half: Un tableau blanc de bureau couvert de schémas embrouillés, de notes biffées et de points d'interrogation, représentant la perte de savoir organisationnel et le chaos des configurations

Introduction à Databricks Lakehouse

Qu'est-ce que Databricks Asset Bundles ?

$$

radial: Databricks Asset Bundles

$$

  • Tout dans un dossier de projet, géré avec Git, déployé par une seule commande CLI
Introduction à Databricks Lakehouse

Avantages de DAB

$$

  • Reproductible : même configuration à chaque déploiement
  • Versionné : changements suivis dans Git
  • Promotion d'environnements : dev → préprod → prod
  • Intégration CI/CD : automatiser les déploiements dans les pipelines

$$

recraft: half: Une chaîne de montage produisant des boîtes identiques sur un convoyeur, représentant un déploiement automatisé et reproductible

Introduction à Databricks Lakehouse

Approche traditionnelle vs DAB

$$

Traditionnel DAB
Configuration Clics dans l'IU Fichiers YAML dans Git
Reproductibilité Manuelle, propice aux erreurs Automatisée, uniforme
Promotion d'environnements Copier et reconfigurer bundle deploy --target prod
Rétroversion Recréer de mémoire git revert + redéployer
Collaboration Une personne à la fois Plein flux de travail Git

Introduction à Databricks Lakehouse

Résumé

$$

  • Le déploiement manuel via l'IU est fragile et ne passe pas à l'échelle
  • Databricks Asset Bundles décrit votre projet en YAML
  • Atouts : reproductibilité, gestion de versions, CI/CD, promotion d'environnements
  • Tout vit dans Git : une seule source de vérité pour votre déploiement
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...