平台架構

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

飯店比喻

$$

控制層（「櫃檯前台」）

recraft: half: 一個現代飯店櫃檯，禮賓人員在螢幕上管理訂房，對應 Databricks 進行協調與排程

  • 由 Databricks 管理
  • 處理協調與請求

$$

資料層（「你的房間」）

recraft: half: 安全的私人飯店房間，內有保險箱與書桌，對應客戶雲端帳戶中資料與運算的所在

  • 位於 你的雲端帳戶
  • 你的資料與運算所在
Databricks Lakehouse 入門

控制層

$$

  • 由 Databricks 管理
  • Workspace 介面與筆記本
  • 作業排程與編排
  • 叢集管理與設定

$$

recraft: half: 現代化接待櫃檯，整齊的監視器顯示儀表板與排程看板，代表控制中心

Databricks Lakehouse 入門

資料層

$$

recraft: half: 安全的保管庫房間，內有伺服器機櫃與上鎖的儲存箱，代表客戶自有的雲端基礎設施

$$

  • 位於 你的雲端帳戶
  • 運算叢集在此執行
  • 資料存放於你的雲端儲存
  • 你掌控存取與網路
Databricks Lakehouse 入門

各自負責什麼？

nanobanana: full: 分割圖，左右兩側以箭頭相連：左側標示 Control Plane，顯示 Workspace UI 與 Job Scheduler；右側標示 Data Plane，顯示 Clusters 與 Cloud Storage，兩側之間有資料流程箭頭

Databricks Lakehouse 入門

稽核記錄與系統資料表

$$

  • 稽核記錄 追蹤所有工作區活動
  • 以 系統資料表 形式存於你的雲端帳戶
  • 使用 SQL 查詢以產出法遵報告

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Databricks Lakehouse 入門

總結

$$

  • 控制層－由 Databricks 管理（UI、排程、管理）
  • 資料層－你的雲端（運算、儲存、資料）
  • 稽核記錄－以系統資料表存於你的帳戶
  • 你的資料 不會離開 你的雲端環境
Databricks Lakehouse 入門

一起來練習吧！

Databricks Lakehouse 入門

Preparing Video For Download...