メダリオンアーキテクチャ

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

生データから活用可能なデータへ

$$

  • 生データがレイクハウスに届きます — 次は何をすべきでしょうか？
  • 乱雑で未検証のレコードを、クリーンな洞察へとつなげる道筋が必要です
  • メダリオンアーキテクチャがこの課題を解決します
Databricks Lakehouse 入門

データ品質の問題

$$

recraft: half: A confused data engineer looking at messy tangled data streams flowing into a modern laptop screen

$$

  • 数十ものソースからの生データ
  • 欠損フィールド、重複、型の不一致
  • アナリストには信頼できるデータが必要です
Databricks Lakehouse 入門

3つの層、1つの目的

$$

nanobanana: full: Professional kitchen workflow in three stages left to right: raw ingredients in a crate labeled Bronze, a prep station with chopped vegetables labeled Silver, a beautifully plated dish labeled Gold, clean modern illustration

Databricks Lakehouse 入門

ブロンズ層

$$

  • データを受信時にそのまま取り込みます
  • 形式が統一されておらず、null許容フィールドを含みます
  • 追記のみ — 削除・変更は行いません
  • セーフティネット — 常に元データに遡れます
{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}
Databricks Lakehouse 入門

シルバー層

$$

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

$$

  • タイムスタンプ → 適切な日時型に変換
  • null値を除去し、重複を排除
  • スキーマを適用 — 型が統一されます
Databricks Lakehouse 入門

ゴールド層

$$

  • ビジネスレベルの集計
  • ダッシュボードや経営レポートに活用
  • 高速な利活用に最適化

$$

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156
Databricks Lakehouse 入門

各層を主に使うのは誰か？

nanobanana: full: Three horizontal layers stacked vertically: Gold layer at top with analyst icon, Silver layer in middle with data scientist icon, Bronze layer at bottom with data engineer icon, each labeled with role name, clean infographic style

  • これらは一般的なパターンであり、厳密なルールではありません — どのロールがどの層にアクセスしても構いません
Databricks Lakehouse 入門

まとめ

$$

  • ブロンズ — 生データをすべて保持するセーフティネット
  • シルバー — クレンジングと検証による信頼できる基盤
  • ゴールド — ビジネス向け集計済みの活用データ
  • 各層 → 利用者も品質基準も異なります

$$

nanobanana: half: Three-tiered award podium with bronze, silver, and gold medals representing data quality layers, clean modern style

Databricks Lakehouse 入門

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...