Od ręcznego do zautomatyzowanego wdrażania

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Problem z ręcznym wdrażaniem

$$

  • Konfigurowanie zadań przez UI, jedno po drugim
  • Ręczne kopiowanie notebooków do folderów produkcyjnych
  • Dryf ustawień między środowiskiem testowym a produkcyjnym
  • Brak możliwości odtworzenia wdrożenia od zera

$$

recraft: half: Osoba przy zagraconej biurce pokrytej karteczkami i nieskładnymi papierami — symbol chaosu ręcznego wdrażania

Wprowadzenie do Databricks Lakehouse

Dlaczego to problem na dużą skalę?

$$

  • Typowy projekt ma zadania, potoki, klastry, uprawnienia i harmonogramy
  • Każdy element konfigurowany osobno w UI
  • Jeden członek zespołu odchodzi — wiedza o konfiguracji znika razem z nim
  • Audyt pyta: „co zmieniło się w zeszłym miesiącu?" — brak odpowiedzi

$$

recraft: half: Tablica w biurze pokryta splątanymi diagramami, przekreślonymi notatkami i znakami zapytania — symbol utraty wiedzy o konfiguracji

Wprowadzenie do Databricks Lakehouse

Czym są Databricks Asset Bundles?

$$

radial: Databricks Asset Bundles

$$

  • Wszystko w folderze projektu, wersjonowane w Git, wdrażane jednym poleceniem CLI
Wprowadzenie do Databricks Lakehouse

Zalety DAB

$$

  • Powtarzalność — za każdym razem ta sama konfiguracja
  • Kontrola wersji — zmiany śledzone w Git
  • Promocja środowisk — dev → staging → prod
  • Integracja z CI/CD — automatyczne wdrożenia w potokach

$$

recraft: half: Linia montażowa w fabryce z identycznymi pudełkami produkowanymi kolejno na taśmie — symbol powtarzalnego, zautomatyzowanego wdrażania

Wprowadzenie do Databricks Lakehouse

Tradycyjne podejście a DAB

$$

Tradycyjne podejście DAB
Konfiguracja Klikanie w UI Pliki YAML w Git
Powtarzalność Ręczna, podatna na błędy Automatyczna, spójna
Promocja środowisk Kopiowanie i rekonfiguracja bundle deploy --target prod
Wycofanie zmian Odtwarzanie z pamięci git revert + ponowne wdrożenie
Współpraca Jedna osoba na raz Pełny przepływ pracy Git

Wprowadzenie do Databricks Lakehouse

Podsumowanie

$$

  • Ręczne wdrażanie przez UI jest kruche i nie skaluje się
  • Databricks Asset Bundles opisują projekt w plikach YAML
  • Korzyści: powtarzalność, kontrola wersji, CI/CD, promocja środowisk
  • Wszystko w Git — jedno źródło prawdy o wdrożeniu
Wprowadzenie do Databricks Lakehouse

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse

Preparing Video For Download...