Fédération Lakehouse

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Le problème : silos de données

$$

recraft: half: Plusieurs îles déconnectées avec des tables de données sur chaque île et des ponts manquants entre elles, représentant des silos de données entre différents systèmes

$$

  • Données réparties sur plusieurs systèmes
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • Déplacer les données est lent et crée des copies
  • Vous avez besoin de réponses couvrant toutes vos données
Introduction à Databricks Lakehouse

Qu'est-ce que la Fédération Lakehouse ?

$$

architecture: Fédération Lakehouse

Introduction à Databricks Lakehouse

Configuration d'une connexion

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Introduction à Databricks Lakehouse

Quand fédérer vs quand ingérer

$$

Fédérer Ingestion
Accès Temps réel Copie par lot
Volume des requêtes Faible Élevé
Latence Selon la source Faible
Conformité Aucune copie requise Déplacement des données
Transformations Limitées Chaîne medallion complète

$$

  • Fédérer pour un accès en temps réel, à faible volume ou restreint par la conformité
  • Ingérer pour des charges élevées, répétées et critiques en performance
Introduction à Databricks Lakehouse

Fédération dans Unity Catalog

$$

  • Les tables fédérées apparaissent dans la hiérarchie du Unity Catalog
  • Même contrôle d'accès et traçabilité que les tables locales
  • Joignez des tables fédérées et des tables lakehouse locales dans une seule requête
  • Sources prises en charge : PostgreSQL, MySQL, Snowflake, SQL Server, et plus

$$

recraft: half: Deux immeubles modernes reliés par un pont lumineux de flux de données, avec un répertoire de catalogue central au milieu, représentant la gouvernance des données fédérées

Introduction à Databricks Lakehouse

Résumé

$$

  • La Fédération Lakehouse interroge des données externes sans les copier
  • Configurer une connexion, créer un catalogue externe, interroger en SQL standard
  • Fédérer pour un accès en temps réel, à faible volume ou restreint par la conformité
  • Ingérer pour des charges élevées, répétées et critiques en performance
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...