Platform mimarisi

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Otel benzetmesi

Kontrol düzlemi - "Resepsiyon"

recraft: half: Rezervasyonları ekranlardan yöneten bir konsiyerjli modern otel resepsiyonu; Databricks'in koordinasyon ve zamanlamayı yönetmesini temsil ediyor

Databricks tarafından yönetilir
Koordinasyon ve istekleri yönetir

Veri düzlemi - "Oda"

recraft: half: Kişisel kasalı ve çalışma masalı güvenli bir özel otel odası; verinin bulunduğu ve hesaplamanın çalıştığı müşteri bulut hesabını temsil ediyor

Senin bulut hesabında bulunur
Verin ve hesaplamaların burada yaşar

Kontrol düzlemi

Databricks tarafından yönetilir
Çalışma alanı arayüzü ve not defterleri
İş zamanlama ve orkestrasyon
Küme yönetimi ve yapılandırma

recraft: half: Gösterge panoları ve zamanlama tahtaları gösteren düzenli monitörlü modern bir resepsiyon masası; bir kontrol merkezini temsil ediyor

Veri düzlemi

recraft: half: Sunucu rafları ve kilitli depolama kapları olan güvenli bir kasa odası; müşteri sahipliğindeki bulut altyapısını temsil ediyor

Senin bulut hesabında bulunur
Hesaplama kümeleri burada çalışır
Veri, bulut depolamanda tutulur
Erişim ve ağı sen kontrol edersin

Nerede ne var?

nanobanana: full: Oklarla bağlanan iki bölümden oluşan ayrık diyagram: solda Kontrol Düzlemi, Çalışma Alanı Arayüzü ve İş Zamanlayıcı; sağda Veri Düzlemi, Kümeler ve Bulut Depolama; arada akış okları

Denetim günlükleri ve sistem tabloları

Denetim günlükleri, tüm çalışma alanı etkinliğini izler
Bulut hesabında sistem tabloları olarak saklanır
Uyum raporları için SQL ile sorgula

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

Özet

Kontrol düzlemi - Databricks yönetimli (arayüz, zamanlama, yönetim)
Veri düzlemi - senin bulutun (hesaplama, depolama, veri)
Denetim günlükleri - hesabında sistem tabloları olarak saklanır
Verin asla bulut ortamından çıkmaz

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş