Unity Catalog とデータリネージ

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

ガバナンスが重要な理由

$$

  • 複数チームにまたがる数百のテーブル
  • 「マーケティングチームは顧客の財務データを閲覧できるのか？」
  • 「このレポートはおかしい。元データはどこにあるのか？」
  • Unity Catalog がこれらの疑問を一元管理します

$$

recraft: half: 管理されていないデータの複雑さを表す、疑問符が浮かぶ相互接続されたデータパイプラインとフォルダの迷路

Databricks Lakehouse 入門

Unity Catalog の階層構造

$$

Unity Catalog の階層ツリー表示

$$

  • メタストア - アカウントごとに1つ、最上位コンテナ
  • カタログ - 「production」や「development」など
  • スキーマ - 関連オブジェクトをまとめる（例：「sales」）
  • テーブル、ビュー、関数を格納
Databricks Lakehouse 入門

アクセス制御

$$

-- Grant read access to a schema
GRANT SELECT
ON SCHEMA production.sales
TO `analytics_team`;

-- Revoke table-level access
REVOKE SELECT
ON TABLE production.sales.customers
FROM `intern_group`;

$$

  • 階層のあらゆるレベルに権限を設定可能
  • カタログ、スキーマ、テーブルに SELECT、MODIFY、CREATE を付与
  • 継承あり - カタログへの付与は配下のスキーマすべてに適用
Databricks Lakehouse 入門

データリネージ

このデータはどこから来たのか？

$$

フローチャート: bronze_orders（ソース）、silver_orders（クレンジング済み）、gold_daily_revenue（集計済み）、Revenue Dashboard（利用先）

$$

  • クエリ実行時にテーブル間の関係を自動追跡
  • 上流のソースと下流の利用先をトレース
Databricks Lakehouse 入門

リネージの活用

$$

  • 上流 - データの出所をトレース
  • 下流 - このテーブルに依存するものを確認
  • 影響分析 - この列を変更すると、何が壊れるか？
  • デバッグ - レポートの数値がおかしい場合、ソースまで遡る

$$

recraft: half: データリネージの調査を表す、虫眼鏡を持ち、つながったドキュメントとデータテーブルの痕跡を調べる探偵

Databricks Lakehouse 入門

まとめ

$$

  • Unity Catalog - すべてのデータ資産を一元管理
  • 階層構造 - メタストア → カタログ → スキーマ
  • アクセス制御 - 各レベルで SQL による権限付与、下位に継承
  • リネージ - データの流れを上流・下流ともに自動追跡
Databricks Lakehouse 入門

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...