Manuelden otomatik dağıtıma

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Manuel dağıtım sorunu

İşleri UI üzerinden, teker teker yapılandır
Notebook'ları üretim klasörlerine elle kopyala
Staging ile üretim arasında ayarlar sapıyor
Dağıtımı sıfırdan yeniden üretmenin yolu yok

recraft: half: Yapışkan notlarla ve uyumsuz kağıtlarla kaplı dağınık bir masada oturan bir kişi; manuel dağıtım sürecinin kaosunu temsil ediyor

Ölçekte neden önemli

Tipik bir projede jobs, pipelines, clusters, permissions ve schedules vardır
Her biri UI'da ayrı ayrı yapılandırılır
Bir ekip üyesi ayrılırsa, yapılandırma bilgisi de onunla gider
Denetim sorar: "Geçen ay ne değişti?" - net yanıt yok

recraft: half: Kurumsal bilgilerin kaybını ve yapılandırma kaosunu temsil eden; karmaşık diyagramlar, çizilip atılmış notlar ve soru işaretleriyle kaplı bir ofis beyaz tahtası

Databricks Asset Bundles nedir?

radial: Databricks Asset Bundles

Her şey proje klasöründe, Git ile versiyonlanır, tek bir CLI komutuyla dağıtılır

DAB avantajları

Yeniden üretilebilir - her seferinde aynı yapılandırmayı dağıt
Sürüm kontrollü - değişiklikler Git'te izlenir
Ortam terfisi - dev → staging → prod
CI/CD entegrasyonu - dağıtımları pipeline'larda otomatikleştir

recraft: half: Bir konveyör bandında art arda üretilen özdeş kutular; yeniden üretilebilir otomatik dağıtımı temsil ediyor

Geleneksel vs. DAB

	Geleneksel	DAB
Yapılandırma	UI tıklamaları	Git'te YAML dosyaları
Yeniden üretilebilirlik	Manuel, hataya açık	Otomatik, tutarlı
Ortam terfisi	Kopyala ve yeniden yapılandır	`bundle deploy --target prod`
Geri alma	Hafızadan yeniden kur	`git revert` + yeniden dağıt
İşbirliği	Aynı anda tek kişi	Tam Git iş akışı

Özet

Manuel UI dağıtımı kırılgan ve ölçeklenmez
Databricks Asset Bundles, projeni YAML ile tanımlar
Faydalar: yeniden üretilebilirlik, sürüm kontrolü, CI/CD, ortam terfisi
Her şey Git'te - dağıtımın için tek doğru kaynak

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş