Hepsini bir araya getirelim

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Senaryo

Bir perakende şirketinde yeni bir projeye başlayan bir veri mühendisisin
Amaç: compute'u kur, veri hattını doğrula, yönetişimi kontrol et ve dağıtıma hazırla

recraft: half: Yeni bir veri projesine onboarding'i temsil eden, Databricks tarzı arayüz gösteren dizüstülü modern bir masada bir veri mühendisi ve arkada boru hattı diyagramları

Adım 1: Doğru compute'u seç

Boru hattı takvime bağlı olarak her gece çalışır
Etkileşimli geliştirme gerekmez
LTS runtime'lı bir jobs cluster doğru seçimdir
Değişken veri hacmi için otomatik ölçekleme ayarla (2–6 işçi)

	All-Purpose	Jobs Cluster
Mode	Etkileşimli	Otomatik
Management	Manuel	Otomatik sonlandırma
Cost	Daha yüksek (boşta kalma)	Maliyet optimize

Adım 2: Medallion hattını doğrula

SELECT COUNT(*) FROM bronze_sales;
-- 1,247,832 satır

SELECT COUNT(*) FROM silver_sales;
-- 1,189,456 satır (null'lar kaldırıldı)

SELECT COUNT(*) FROM gold_daily_revenue;
-- 365 satır (günlük özetler)

Bronze: ham veri, en yüksek satır sayısı
Silver: temizlenmiş, null ve kopyalar kaldırılmış
Gold: iş raporlaması için özetlenmiş
Kalite arttıkça satır sayısı azalır

Adım 3: Yönetişimi kontrol et

Unity Catalog'a git ve gold_daily_revenue tablosunu incele
Yukarı akış soy ağacını izle; silver_sales'ten okuduğunu doğrula
Erişim kontrollerini denetle - yalnızca analitik ekibi gold üzerinde SELECT'e sahip
Dış ortak için Delta Sharing'in yapılandırıldığını onayla

recraft: half: Yönetişim doğrulamayı temsil eden, onay işaretli bağlı tablo düğümleri gösteren bir veri soy ağacı grafiğinin üzerinde büyüteç

Adım 4: Dağıtıma hazırlan

databricks.yml Asset Bundle'ı gözden geçir
Gece işi kaynağının tanımlı olduğunu onayla
production target doğru çalışma alanı yolunu gösteriyor mu kontrol et
Dağıtmadan önce bundle validate çalıştır

targets:
  production:
    workspace:
      root_path: /Shared/production
resources:
  jobs:
    nightly_sales_etl:
      schedule:
        quartz_cron: "0 0 3 * * ?"

Özet

Compute: küme türünü iş yüküyle eşle (otomasyon için jobs cluster)
Veri: medallion katmanlarının doğru aktığını doğrula
Yönetişim: soy ağacını izle, erişimi kontrol et, paylaşımı onayla
Dağıtım: Asset Bundle'ı gözden geçir, doğrula, dağıt

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş