総まとめ

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

シナリオ

$$

あなたは小売企業で新プロジェクトを担当するデータエンジニアです
目標：コンピュートの設定、データパイプラインの確認、ガバナンスのチェック、デプロイの準備

$$

recraft: half: Databricks スタイルのインターフェースを表示するノートパソコンの前に座るデータエンジニア。背後のホワイトボードにはパイプライン図が描かれており、新しいデータプロジェクトへのオンボーディングを表している

ステップ 1：適切なコンピュートを選択する

$$

パイプラインはスケジュールに従い夜間に実行されます
インタラクティブな開発は不要です
LTS ランタイムを使用したジョブクラスターが最適な選択肢です
データ量の変動に対応するため、オートスケーリング（2〜6ワーカー）を設定します

$$

	汎用クラスター	ジョブクラスター
モード	インタラクティブ	自動化
管理	手動	自動終了
コスト	高め（アイドル時間あり）	コスト最適化

ステップ 2：メダリオンパイプラインを確認する

$$

SELECT COUNT(*) FROM bronze_sales;
-- 1,247,832 rows

SELECT COUNT(*) FROM silver_sales;
-- 1,189,456 rows (nulls removed)

SELECT COUNT(*) FROM gold_daily_revenue;
-- 365 rows (daily aggregates)

$$

Bronze：生データ、最も行数が多い
Silver：クリーニング済み、null と重複を除去
Gold：ビジネスレポート用に集計済み
データ品質が上がるにつれ、行数は減少します

ステップ 3：ガバナンスをチェックする

$$

Unity Catalog に移動し、gold_daily_revenue テーブルを確認します
リネージを上流にたどり、silver_sales から読み込まれていることを確認します
アクセス制御を検証します。gold への SELECT はアナリティクスチームのみに付与されています
外部パートナー向けに Delta Sharing が設定済みであることを確認します

$$

recraft: half: チェックマーク付きのテーブルノードが接続されたデータリネージグラフの上に虫眼鏡がかかっており、ガバナンスの検証を表している

ステップ 4：デプロイの準備をする

$$

databricks.yml アセットバンドルを確認します
夜間ジョブのリソースが定義されていることを確認します
本番ターゲットが正しいワークスペースパスを指しているかチェックします
デプロイ前に bundle validate を実行します

$$

targets:
  production:
    workspace:
      root_path: /Shared/production
resources:
  jobs:
    nightly_sales_etl:
      schedule:
        quartz_cron: "0 0 3 * * ?"

まとめ

$$

コンピュート：ワークロードに合ったクラスタータイプを選択（自動化にはジョブクラスター）
データ：メダリオン各レイヤーが正常に流れていることを確認
ガバナンス：リネージの追跡、アクセスの確認、共有設定の検証
デプロイ：アセットバンドルの確認、検証、デプロイの実行

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...