Lakehouse Federation

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Sorun: veri siloları

recraft: half: Farklı sistemlerdeki veri silolarını temsil eden, her adada veri tabloları olan ve aralarında köprü olmayan birden çok kopuk ada

Veriler birden çok sisteme dağılmış
PostgreSQL, MySQL, Snowflake, SQL Server
Veriyi taşımak yavaş ve kopyalar üretir
Tüm verini kapsayan yanıtlar lazım

Lakehouse Federation nedir?

architecture: Lakehouse Federation

Bağlantı kurma

-- Bir bağlantı oluştur
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

-- Yabancı bir katalog oluştur
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Harici tabloyu sorgula
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Ne zaman federate, ne zaman ingest?

	Federate	Ingest
Erişim	Gerçek zamanlı	Toplu kopya
Sorgu hacmi	Düşük	Yüksek
Gecikme	Kaynağa bağlı	Düşük
Uyumluluk	Kopya gerekmez	Veri taşınır
Dönüşümler	Sınırlı	Tam medallion

Gerçek zaman, düşük hacim veya uyumluluk kısıtları için Federate
Yüksek hacimli, tekrarlı, performans kritik işler için Ingest

Unity Catalog'da Federation

Federated tablolar Unity Catalog hiyerarşisinde görünür
Yerel tablolarla aynı erişim denetimi ve soy kütüğü
Tek sorguda federated tabloları yerel lakehouse tablolarıyla birleştir
Desteklenen kaynaklar: PostgreSQL, MySQL, Snowflake, SQL Server ve daha fazlası

recraft: half: İki modern bina, ortada merkezi bir katalog diziniyle veri akışlarından oluşan parlak bir köprüyle bağlı; federated veri yönetişimini temsil eder

Özet

Lakehouse Federation, veriyi kopyalamadan harici veriyi sorgular
Bir bağlantı kur, yabancı katalog oluştur, standart SQL ile sorgula
Gerçek zaman, düşük hacim veya uyumluluk kısıtları için Federate
Yüksek hacimli, tekrarlı, performans kritik işler için Ingest

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş