Lakehouse Federation

Einführung in das Databricks Lakehouse

Gang Wang

Senior Data Scientist

Das Problem: Datensilos

$$

recraft: half: Mehrere voneinander getrennte Inseln mit Datentabellen auf jeder Insel und fehlenden Brücken dazwischen, die Datensilos über verschiedene Systeme darstellen

$$

  • Daten über mehrere Systeme verteilt
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Daten zu bewegen ist langsam und erzeugt Kopien
  • Du brauchst Antworten über alle deine Daten hinweg
Einführung in das Databricks Lakehouse

Was ist Lakehouse Federation?

$$

architecture: Lakehouse Federation

Einführung in das Databricks Lakehouse

Eine Verbindung einrichten

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Einführung in das Databricks Lakehouse

Wann föderieren vs. wann ingestieren

$$

Föderieren Ingest
Zugriff Echtzeit Batch-Kopie
Abfragevolumen Niedrig Hoch
Latenz Quellabhängig Niedrig
Compliance Keine Kopien nötig Daten werden bewegt
Transformationen Begrenzt Voller Medaillon-Flow

$$

  • Föderieren für Echtzeit-, Niedrigvolumen- oder compliance-beschränkten Zugriff
  • Ingest für hohe Volumina, wiederkehrende, performancekritische Workloads
Einführung in das Databricks Lakehouse

Föderation im Unity Catalog

$$

  • Föderierte Tabellen erscheinen in der Unity Catalog-Hierarchie
  • Gleiche Zugriffskontrolle und Lineage wie lokale Tabellen
  • Föderierte mit lokalen Lakehouse-Tabellen in einer Abfrage joinen
  • Unterstützte Quellen: PostgreSQL, MySQL, Snowflake, SQL Server u. a.

$$

recraft: half: Zwei moderne Gebäude, verbunden durch eine leuchtende Datenbrücke, mit einem zentralen Katalogverzeichnis in der Mitte, das föderierte Data Governance darstellt

Einführung in das Databricks Lakehouse

Zusammenfassung

$$

  • Lakehouse Federation fragt externe Daten ab, ohne sie zu kopieren
  • Verbindung einrichten, Foreign Catalog erstellen, mit Standard-SQL abfragen
  • Föderieren für Echtzeit-, Niedrigvolumen- oder compliance-beschränkten Zugriff
  • Ingest für hohe Volumina, wiederkehrende, performancekritische Workloads
Einführung in das Databricks Lakehouse

Lass uns üben!

Einführung in das Databricks Lakehouse

Preparing Video For Download...