プラットフォームアーキテクチャ

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

ホテルのたとえ

$$

コントロールプレーン - 「フロントデスク」

recraft: half: A modern hotel front desk with a concierge managing bookings on screens, representing Databricks managing coordination and scheduling

  • Databricks が管理
  • 調整とリクエストを処理

$$

データプレーン - 「あなたのホテルルーム」

recraft: half: A secure private hotel room with a personal safe and workspace desk, representing the customer cloud account where data lives and compute runs

  • お客様のクラウドアカウントに存在
  • データとコンピュートが稼働する場所
Databricks Lakehouse 入門

コントロールプレーン

$$

  • Databricks が管理
  • ワークスペース UI とノートブック
  • ジョブのスケジューリングとオーケストレーション
  • クラスターの管理と設定

$$

recraft: half: A modern reception desk with organized monitors showing dashboards and scheduling boards, representing a control center

Databricks Lakehouse 入門

データプレーン

$$

recraft: half: A secure vault room with server racks and locked storage containers, representing customer-owned cloud infrastructure

$$

  • お客様のクラウドアカウントに存在
  • コンピュートクラスターがここで稼働
  • データはクラウドストレージに保存
  • アクセスとネットワークを自分で管理
Databricks Lakehouse 入門

どこに何がある？

nanobanana: full: Split diagram with two sections connected by arrows: left side labeled Control Plane showing Workspace UI and Job Scheduler, right side labeled Data Plane showing Clusters and Cloud Storage, arrows flowing between them

Databricks Lakehouse 入門

監査ログとシステムテーブル

$$

  • 監査ログはすべてのワークスペースアクティビティを記録
  • システムテーブルとしてクラウドアカウントに保存
  • SQL でクエリしてコンプライアンスレポートを作成

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Databricks Lakehouse 入門

まとめ

$$

  • コントロールプレーン - Databricks が管理（UI、スケジューリング、管理）
  • データプレーン - お客様のクラウド（コンピュート、ストレージ、データ）
  • 監査ログ - お客様のアカウントのシステムテーブルに保存
  • データがクラウド環境の外に出ることはありません
Databricks Lakehouse 入門

練習しましょう！

Databricks Lakehouse 入門

Preparing Video For Download...