Od manuálního k automatizovanému nasazení

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Problém manuálního nasazení

$$

  • Joby konfigurovat přes UI, jeden po druhém
  • Notebooky kopírovat do produkčních složek ručně
  • Nastavení se mezi stagingem a produkcí rozcházejí
  • Nasazení od nuly nelze reprodukovat

$$

recraft: half: Člověk u přeplněného stolu posetého lepicími štítky a neuspořádanými papíry – symbol chaosu při manuálním nasazování

Introduction to Databricks Lakehouse

Proč na tom záleží ve větším měřítku

$$

  • Typický projekt obsahuje joby, pipeline, clustery, oprávnění a plány
  • Každý se konfiguruje zvlášť v UI
  • Člen týmu odejde – jeho znalost konfigurace odejde s ním
  • Audit se zeptá „co se změnilo minulý měsíc?" – žádná jasná odpověď

$$

recraft: half: Kancelářská tabule plná zamotaných diagramů, přeškrtaných poznámek a otazníků – symbol ztracených znalostí a chaosu v konfiguraci

Introduction to Databricks Lakehouse

Co jsou Databricks Asset Bundles?

$$

radial: Databricks Asset Bundles

$$

  • Vše v projektové složce, verzované v Gitu, nasazené jediným příkazem CLI
Introduction to Databricks Lakehouse

Výhody DAB

$$

  • Reprodukovatelnost – pokaždé nasadíš stejnou konfiguraci
  • Verzování – změny sledované v Gitu
  • Propagace prostředí – dev → staging → prod
  • Integrace CI/CD – nasazení automatizovaná v pipeline

$$

recraft: half: Tovární montážní linka, na které dopravník produkuje identické krabice za sebou – symbol reprodukovatelného automatizovaného nasazení

Introduction to Databricks Lakehouse

Tradiční přístup vs. DAB

$$

Tradiční přístup DAB
Konfigurace Klikání v UI YAML soubory v Gitu
Reprodukovatelnost Ruční, náchylná k chybám Automatizovaná, konzistentní
Propagace prostředí Kopírování a překonfigurace bundle deploy --target prod
Návrat zpět Rekonstrukce z paměti git revert + znovunasazení
Spolupráce Jeden uživatel najednou Plný Git workflow

Introduction to Databricks Lakehouse

Shrnutí

$$

  • Manuální nasazení přes UI je křehké a neškáluje
  • Databricks Asset Bundles popisují projekt v YAMLu
  • Výhody: reprodukovatelnost, verzování, CI/CD, propagace prostředí
  • Vše je v Gitu – jediný zdroj pravdy pro nasazení
Introduction to Databricks Lakehouse

Pojďme cvičit!

Introduction to Databricks Lakehouse

Preparing Video For Download...