Unity Catalog et lignage

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Pourquoi la gouvernance compte

$$

  • Des centaines de tables dans plusieurs équipes
  • « L'équipe marketing peut-elle voir les données financières clients ? »
  • « Ce rapport paraît faux : d'où viennent réellement les données ? »
  • Unity Catalog centralise les réponses

$$

recraft: half: Un labyrinthe de pipelines de données et de dossiers interconnectés avec des points d'interrogation au-dessus, représentant la complexité de données sans gouvernance

Introduction à Databricks Lakehouse

La hiérarchie Unity Catalog

$$

Arborescence hiérarchique Unity Catalog

$$

  • Metastore – un par compte, conteneur de plus haut niveau
  • Catalogues – comme « production » ou « développement »
  • Schémas – regroupent des objets liés (p. ex. « sales »)
  • Contiennent des tables, vues et fonctions
Introduction à Databricks Lakehouse

Contrôle d'accès

$$

-- Accorder un accès en lecture à un schéma
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Révoquer l'accès au niveau table
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

$$

  • Droits à chaque niveau de la hiérarchie
  • Accorder SELECT, MODIFY, CREATE sur catalogues, schémas ou tables
  • Héritage : un droit sur un catalogue s'applique à tous ses schémas
Introduction à Databricks Lakehouse

Lignage des données

D'où viennent ces données ?

$$

flowchart: bronze_orders (source), silver_orders (nettoyé), gold_daily_revenue (agrégé), Revenue Dashboard (consommateur)

$$

  • Suivi automatique des relations entre tables lors de l'exécution des requêtes
  • Tracer les sources amont et les consommateurs aval
Introduction à Databricks Lakehouse

Le lignage en pratique

$$

  • Amont – retracer l'origine des données
  • Aval – voir ce qui dépend de cette table
  • Analyse d'impact – si je modifie cette colonne, qu'est-ce qui casse ?
  • Débogage – un rapport affiche de mauvais chiffres, remonter à la source

$$

recraft: half: Un ou une détective avec une loupe examine une piste de documents connectés et de tables de données, représentant l'enquête sur le lignage des données

Introduction à Databricks Lakehouse

Récapitulatif

$$

  • Unity Catalog – gouvernance centralisée de tous les actifs de données
  • Hiérarchie – metastore → catalogue → schéma
  • Contrôle d'accès – droits SQL à chaque niveau, hérités vers le bas
  • Lignage – suivi automatique des flux, amont et aval
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...