Fédération Lakehouse

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Le problème : les silos de données

$$

recraft: half: Plusieurs îles déconnectées avec des tables de données sur chaque île et des ponts manquants entre elles, représentant des silos de données entre systèmes

$$

  • Données réparties sur plusieurs systèmes
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Déplacer les données est lent et crée des copies
  • Vous avez besoin de réponses couvrant toutes vos données
Introduction à Databricks Lakehouse

Qu'est-ce que la Fédération Lakehouse ?

$$

architecture: Fédération Lakehouse

Introduction à Databricks Lakehouse

Configurer une connexion

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Introduction à Databricks Lakehouse

Quand fédérer vs. quand ingérer

$$

Fédérer Ingestion
Accès Temps réel Copie par lot
Volume de requêtes Faible Élevé
Latence Dépend de la source Faible
Conformité Aucune copie nécessaire Déplacement de données
Transformations Limitées Chaîne médaille complète

$$

  • Fédérer pour l'accès temps réel, faible volume ou soumis à la conformité
  • Ingestion pour des volumes élevés, répétés et critiques en performance
Introduction à Databricks Lakehouse

Fédération dans Unity Catalog

$$

  • Les tables fédérées apparaissent dans la hiérarchie du Unity Catalog
  • Même contrôle d'accès et traçabilité que les tables locales
  • Joindre des tables fédérées et locales lakehouse dans une seule requête
  • Sources prises en charge : PostgreSQL, MySQL, Snowflake, SQL Server, et plus encore

$$

recraft: half: Deux bâtiments modernes reliés par un pont lumineux de flux de données, avec un annuaire de catalogue central, représentant la gouvernance fédérée des données

Introduction à Databricks Lakehouse

En résumé

$$

  • La Fédération Lakehouse interroge des données externes sans les copier
  • Configurez une connexion, créez un catalogue externe, interrogez en SQL standard
  • Fédérer pour l'accès temps réel, faible volume ou soumis à la conformité
  • Ingestion pour des volumes élevés, répétés et critiques en performance
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...