なぜレイクハウスなのか？

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

学習内容

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

Databricks レイクハウスを学ぶ

  1. レイクハウスでのデータの整理方法
  2. コンピュートとノートブックの管理方法
  3. データのガバナンスと安全な共有方法
  4. 本番環境へのデプロイ方法
Databricks Lakehouse 入門

講師紹介

       

Gang Wang

  • シニアデータサイエンティスト

  • Origin Energy（オーストラリア）、2021年〜現在

  • 博士号取得後、9年以上の経験

       

Databricks Lakehouse 入門

データレイクの可能性

$$

recraft: half: さまざまなサイズのカラフルな樽と箱が並ぶ広い倉庫。多様な生データの保存を表しています

$$

  • あらゆるデータを低コストで保存
  • 構造化・半構造化・非構造化データに対応
  • 柔軟なスキーマオンリード
Databricks Lakehouse 入門

データレイクの落とし穴

$$

  • データ品質の保証がない
  • ガバナンスやアクセス制御が組み込まれていない
  • 「データスワンプ」— 信頼できるデータを見つけにくい
  • 分析とAIに別々のツールが必要

$$

recraft: half: 絡み合うつるとファイルが泥の中に沈む暗い沼。信頼性が低く迷子になったデータを表すデータスワンプのイメージ

Databricks Lakehouse 入門

データウェアハウスのトレードオフ

$$

  • 信頼性が高くパフォーマンスに優れる
  • 強固なガバナンス
  • ただし高コストで柔軟性に欠ける
  • 構造化データのみ対応

$$

recraft: half: 棚に整然と並んだ本がある整理された図書館。構造化された信頼性の高いデータストレージを表しています

Databricks Lakehouse 入門

レイクハウスの登場

$$

comparison: データレイク、柔軟、低コスト、非構造化 | データウェアハウス、信頼性、ガバナンス、柔軟性が低い

Databricks Lakehouse 入門

Databricks でレイクハウスを実現する仕組み

$$

  • オープンファイル形式（Delta Lake）
  • レイク上のACIDトランザクション
  • 統合ガバナンス（Unity Catalog）
  • 分析・AI・アプリを一つのプラットフォームで

$$

nanobanana: half: 4つの積み木が塔を形成し、下から順にOpen Formats（Delta Lake）、ACID Transactions、Unified Governance（Unity Catalog）、One Platform for Analytics and AIとラベル付けされたモダンなインフォグラフィック

Databricks Lakehouse 入門

レイクハウスによるデータ品質の向上

$$

flowchart: 生データ、スキーマ強制、ACIDトランザクション、ガバナンスと信頼性の確保

$$

  • 書き込み時にスキーマを強制
  • トランザクションログがすべての変更を記録
  • タイムトラベルで過去のバージョンを参照可能
Databricks Lakehouse 入門

まとめ

$$

  • データレイク — 柔軟だが信頼性に欠ける
  • データウェアハウス — 信頼性は高いが硬直的でコストが高い
  • レイクハウス — 両者を統合した一つのプラットフォーム
  • Delta Lake、ACID、Unity Catalog で実現
Databricks Lakehouse 入門

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...