Neden Lakehouse?

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Neler öğreneceksin

Databricks Lakehouse'ı keşfet

Lakehouse'ta verinin nasıl düzenlendiği
Hesaplama ve not defterlerini nasıl yöneteceğin
Veriyi güvenle nasıl yöneteceğin ve paylaşacağın
Çalışmanı üretime nasıl dağıtacağın

Eğitmeninle Tanış

Gang Wang

Kıdemli Veri Bilimci
Origin Energy, Avustralya (2021-Günümüz)
Doktora sonrası 9+ yıl deneyim

Veri gölünün vaadi

recraft: half: Çeşitli boyutlarda renkli variller ve kasalarla dolu büyük bir açık depo; çeşitli ham veri depolamayı temsil eder

Her türlü veriyi düşük maliyetle depola
Yapılı, yarı yapılı, yapısız
Esnek okumada şema

Gölün karanlık yüzü

Veri kalitesi için garanti yok
Yerleşik yönetişim veya erişim kontrolü yok
"Veri bataklığı" - güvenilir veri bulmak zor
Analitik ve AI için ayrı araçlar gerekir

recraft: half: Dolaşık sarmaşıklarla kaplı, çamurlu suda batan dağınık dosyalarla karanlık, bulanık bir bataklık; kayıp ve güvenilmez veriyi temsil eder

Ambarın bedeli

Güvenilir ve performanslı
Güçlü yönetişim
Ama pahalı ve katı
Sadece yapılı veriyle sınırlı

recraft: half: Raflarda düzenli dizilmiş kitaplarla tertipli bir kütüphane; yapılı ve güvenilir veri depolamayı temsil eder

Lakehouse sahneye çıkıyor

comparison: Veri Gölü, Esnek, Ucuz, Yapısız | Veri Ambarı, Güvenilir, Yönetişimli, Katı

Databricks'te bunu ne sağlar?

Açık dosya formatları (Delta Lake)
Göl üzerinde ACID işlemler
Birleşik yönetişim (Unity Catalog)
Analitik, AI ve uygulamalar için tek platform

nanobanana: half: Alttan üste etiketli dört bloktan oluşan bir kule: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI; temiz modern infografik stil

Lakehouse veri kalitesini artırır

flowchart: Ham Veri, Şema Zorlaması, ACID İşlemleri, Yönetişimli ve Güvenilir

Yazma anında şema zorlaması
İşlem günlükleri her değişikliği izler
Zaman yolculuğu - geçmiş sürümleri sorgula

Özet

Veri gölleri - esnek ama güvenilmez
Veri ambarları - güvenilir ama katı ve maliyetli
Lakehouse - ikisini birleştirir, tek platform
Delta Lake, ACID ve Unity Catalog ile desteklenir

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş