Unity Catalog et traçabilité

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Pourquoi la gouvernance compte

$$

  • Des centaines de tables réparties entre plusieurs équipes
  • « L'équipe marketing peut-elle voir les données financières des clients ? »
  • « Ce rapport semble erroné : d'où viennent réellement les données ? »
  • Unity Catalog centralise les réponses

$$

recraft: half: Un labyrinthe de pipelines de données et de dossiers interreliés avec des points d'interrogation au-dessus, illustrant la complexité de données non gouvernées

Introduction à Databricks Lakehouse

La hiérarchie Unity Catalog

$$

Vue arborescente de la hiérarchie Unity Catalog

$$

  • Metastore – un par compte, conteneur de plus haut niveau
  • Catalogues – comme « production » ou « développement »
  • Schémas – regroupent des objets liés (p. ex. « ventes »)
  • Contiennent des tables, vues et fonctions
Introduction à Databricks Lakehouse

Contrôle d'accès

$$

-- Accorder l'accès en lecture à un schéma
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Révoquer l'accès au niveau table
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

$$

  • Autorisations à chaque niveau de la hiérarchie
  • Accorder SELECT, MODIFY, CREATE sur des catalogues, schémas ou tables
  • Héritage : une autorisation sur un catalogue s'applique à tous ses schémas
Introduction à Databricks Lakehouse

Traçabilité des données

D'où viennent ces données ?

$$

flowchart: bronze_orders (source), silver_orders (nettoyé), gold_daily_revenue (agrégé), tableau de bord des revenus (consommateur)

$$

  • Suivi automatique des relations entre tables lors de l'exécution des requêtes
  • Retracer les sources amont et les consommateurs aval
Introduction à Databricks Lakehouse

Traçabilité en pratique

$$

  • Amont – retracer l'origine des données
  • Aval – voir ce qui dépend de cette table
  • Analyse d'impact – si je modifie cette colonne, qu'est-ce qui brise ?
  • Débogage – un rapport affiche de mauvais chiffres, remonter à la source

$$

recraft: half: Un détective avec une loupe examine une piste de documents et de tables de données reliés, représentant l'enquête de traçabilité

Introduction à Databricks Lakehouse

Récapitulatif

$$

  • Unity Catalog – gouvernance centralisée de tous les actifs de données
  • Hiérarchie – metastore → catalogue → schéma
  • Contrôle d'accès – octrois SQL à chaque niveau, hérités vers le bas
  • Traçabilité – suivi automatique des flux de données, amont et aval
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...