Dari penyebaran manual ke otomatis

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Masalah penyebaran manual

$$

  • Konfigurasikan job lewat UI, satu per satu
  • Salin notebook ke folder produksi secara manual
  • Pengaturan melenceng antara staging dan produksi
  • Tidak bisa mereproduksi penyebaran dari nol

$$

recraft: half: Seseorang di meja berantakan penuh sticky note dan kertas tidak serasi, menggambarkan kekacauan proses penyebaran manual

Pengantar Databricks Lakehouse

Mengapa ini penting saat skala membesar

$$

  • Proyek tipikal punya job, pipeline, cluster, izin, dan jadwal
  • Masing-masing dikonfigurasi terpisah di UI
  • Anggota tim keluar — pengetahuan konfigurasinya ikut pergi
  • Audit bertanya "apa yang berubah bulan lalu?" — tidak ada jawaban jelas

$$

recraft: half: Papan tulis kantor penuh diagram kusut, catatan dicoret, dan tanda tanya, menggambarkan hilangnya pengetahuan institusional dan kekacauan konfigurasi

Pengantar Databricks Lakehouse

Apa itu Databricks Asset Bundles?

$$

radial: Databricks Asset Bundles

$$

  • Semuanya dalam folder proyek, memiliki versi di Git, disebarkan dengan satu perintah CLI
Pengantar Databricks Lakehouse

Keunggulan DAB

$$

  • Dapat direproduksi — sebarkan konfigurasi yang sama setiap saat
  • Terkontrol versi — perubahan dilacak di Git
  • Promosi lingkungan — dev → staging → prod
  • Integrasi CI/CD — otomatiskan penyebaran dalam pipeline

$$

recraft: half: Lini perakitan pabrik dengan kotak identik diproduksi berurutan di ban berjalan, menggambarkan penyebaran otomatis yang dapat direproduksi

Pengantar Databricks Lakehouse

Tradisional vs. DAB

$$

Tradisional DAB
Konfigurasi Klik UI File YAML di Git
Reproduksibilitas Manual, rawan kesalahan Otomatis, konsisten
Promosi lingkungan Salin dan konfigurasi ulang bundle deploy --target prod
Rollback Buat ulang dari ingatan git revert + sebarkan ulang
Kolaborasi Satu orang pada satu waktu Alur kerja Git penuh

Pengantar Databricks Lakehouse

Ringkasan

$$

  • Penyebaran UI manual rapuh dan tidak dapat diskalakan
  • Databricks Asset Bundles mendeskripsikan proyek Anda dalam YAML
  • Manfaat: reproducibility, version control, CI/CD, promosi lingkungan
  • Semuanya berada di Git — satu sumber kebenaran untuk penyebaran Anda
Pengantar Databricks Lakehouse

Ayo berlatih!

Pengantar Databricks Lakehouse

Preparing Video For Download...