Federasi Lakehouse

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Masalah: silo data

recraft: half: Beberapa pulau terpisah dengan tabel data di tiap pulau dan jembatan yang hilang di antaranya, mewakili silo data di berbagai sistem

Data tersebar di banyak sistem
PostgreSQL, MySQL, Snowflake, SQL Server
Memindahkan data lambat dan membuat salinan
Anda butuh jawaban yang mencakup seluruh data Anda

Apa itu Federasi Lakehouse?

architecture: Federasi Lakehouse

Menyiapkan koneksi

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Kapan federate vs. kapan ingest

	Federate	Ingest
Access	Real-time	Salin batch
Query volume	Rendah	Tinggi
Latency	Bergantung sumber	Rendah
Compliance	Tanpa salinan	Data berpindah
Transforms	Terbatas	Medallion penuh

Federate untuk akses real-time, volume rendah, atau terbatas kepatuhan
Ingest untuk beban kerja volume tinggi, berulang, kritis kinerja

Federasi di Unity Catalog

Tabel terfederasi muncul di hierarki Unity Catalog
Kontrol akses dan keturunan sama seperti tabel lokal
Gabungkan tabel terfederasi dengan tabel lakehouse lokal dalam satu kueri
Sumber yang didukung: PostgreSQL, MySQL, Snowflake, SQL Server, dan lainnya

recraft: half: Dua gedung modern dihubungkan jembatan menyala aliran data, dengan direktori katalog pusat di tengah, mewakili tata kelola data terfederasi

Ringkasan

Lakehouse Federation mengkueri data eksternal tanpa menyalinnya
Siapkan connection, buat foreign catalog, kueri dengan SQL standar
Federate untuk akses real-time, volume rendah, atau terbatas kepatuhan
Ingest untuk beban kerja volume tinggi, berulang, kritis kinerja

Ayo berlatih!

Pengantar Databricks Lakehouse