Van handmatig naar geautomatiseerd deployen

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

Het probleem met handmatig deployen

$$

  • Taken één voor één via de UI configureren
  • Notebooks handmatig naar productie mappen kopiëren
  • Instellingen lopen uiteen tussen staging en productie
  • Geen manier om een deployment vanaf nul te reproduceren

$$

recraft: half: Iemand aan een rommelig bureau vol plakbriefjes en allerlei losse papieren, wat de chaos van handmatige deploymentprocessen uitbeeldt

Introductie tot Databricks Lakehouse

Waarom dit op schaal telt

$$

  • Een typisch project heeft taken, pipelines, clusters, permissies en planningen
  • Elk afzonderlijk geconfigureerd in de UI
  • Teamgenoot vertrekt – hun configuratiekennis gaat mee weg
  • Audit vraagt "wat is er vorige maand gewijzigd?" – geen duidelijk antwoord

$$

recraft: half: Een kantoorwhiteboard vol verwarde diagrammen, doorgestreepte notities en vraagtekens, wat verloren kennis en configuratiechaos uitbeeldt

Introductie tot Databricks Lakehouse

Wat zijn Databricks Asset Bundles?

$$

radial: Databricks Asset Bundles

$$

  • Alles in een projectmap, versies in Git, deployen met één CLI-opdracht
Introductie tot Databricks Lakehouse

Voordelen van DAB

$$

  • Reproduceerbaar – elke keer dezelfde config deployen
  • Versiebeheer – wijzigingen gevolgd in Git
  • Omgevingen promoten – dev → staging → prod
  • CI/CD-integratie – deployments automatiseren in pipelines

$$

recraft: half: Een fabriekslopende band met identieke doosjes die na elkaar geproduceerd worden, wat reproduceerbare geautomatiseerde deployment uitbeeldt

Introductie tot Databricks Lakehouse

Traditioneel vs. DAB

$$

Traditioneel DAB
Configuratie UI-kliks YAML-bestanden in Git
Reproduceerbaarheid Handmatig, foutgevoelig Geautomatiseerd, consistent
Omgevingen promoten Kopiëren en herconfigureren bundle deploy --target prod
Rollback Uit geheugen reconstrueren git revert + opnieuw deployen
Samenwerking Eén persoon tegelijk Volledige Git-workflow

Introductie tot Databricks Lakehouse

Samenvatting

$$

  • Handmatig deployen via de UI is fragiel en schaalt niet
  • Databricks Asset Bundles beschrijven je project in YAML
  • Voordelen: reproduceerbaarheid, versiebeheer, CI/CD, omgevingen promoten
  • Alles staat in Git – één bron van waarheid voor je deployment
Introductie tot Databricks Lakehouse

Laten we oefenen!

Introductie tot Databricks Lakehouse

Preparing Video For Download...