Unity Catalog ve Soy Kütüğü (Lineage)

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Yönetişim neden önemli

$$

  • Birden çok ekipte yüzlerce tablo
  • "Pazarlama ekibi müşteri finans verilerini görebilir mi?"
  • "Bu rapor hatalı görünüyor - alttaki veri aslında nereden geliyor?"
  • Yanıtları Unity Catalog merkezileştirir

$$

recraft: half: Yönetilmeyen verinin karmaşıklığını temsil eden, üzerinde soru işaretleri uçuşan, birbirine bağlı veri boru hatları ve klasörlerden oluşan bir labirent

Databricks Lakehouse'a Giriş

Unity Catalog hiyerarşisi

$$

Unity Catalog hiyerarşi ağaç görünümü

$$

  • Metastore - hesap başına bir tane, en üst kapsayıcı
  • Catalogs - "production" veya "development" gibi
  • Schemas - ilişkili nesneleri gruplar (örn. "sales")
  • tables, views ve functions içerir
Databricks Lakehouse'a Giriş

Erişim denetimi

$$

-- Bir şemaya okuma erişimi ver
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Tablo düzeyinde erişimi geri al
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

$$

  • Hiyerarşinin her seviyesinde izinler
  • Catalog, schema veya tabloya SELECT, MODIFY, CREATE ver
  • Kalıtsal - bir catalog'a verilen yetki içindeki tüm schema'lara uygulanır
Databricks Lakehouse'a Giriş

Veri soy kütüğü (lineage)

Bu veri nereden geldi?

$$

akış şeması: bronze_orders (kaynak), silver_orders (temizlenmiş), gold_daily_revenue (toplanmış), Revenue Dashboard (tüketici)

$$

  • Sorgular çalışırken tablolar arası ilişkilerin otomatik takibi
  • Yukarı akış kaynakları ve aşağı akış tüketicileri izle
Databricks Lakehouse'a Giriş

Uygulamada lineage

$$

  • Upstream - verinin nereden geldiğini izle
  • Downstream - bu tabloya neyin bağlı olduğunu gör
  • Etki analizi - bu sütunu değiştirirsem ne bozulur?
  • Hata ayıklama - bir rapor yanlış sayılar gösteriyor, kaynağa geri izle

$$

recraft: half: Veri soy kütüğü incelemesini temsil eden, büyüteçle bağlı belgeler ve veri tabloları izini inceleyen bir dedektif

Databricks Lakehouse'a Giriş

Özet

$$

  • Unity Catalog - tüm veri varlıkları için merkezi yönetişim
  • Hiyerarşi - metastore → catalog → schema
  • Erişim denetimi - her seviyede SQL yetkileri, aşağı doğru devralınır
  • Lineage - veri akışının otomatik takibi, upstream ve downstream
Databricks Lakehouse'a Giriş

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş

Preparing Video For Download...