叢集類型與執行環境

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

什麼是叢集？

$$

  • 一組會執行你程式碼的虛擬機器
  • 一個 driver 節點協調工作
  • 一個或多個 worker 節點負責處理
  • 叢集從雲端儲存讀取資料

$$

$$

階層：Driver Node、Worker 1、Worker 2、Worker 3、Cloud Storage

Databricks Lakehouse 入門

全用途叢集

$$

  • 互動式開發與臨時查詢
  • 在團隊中可共用
  • 會持續執行，直到你手動停止
  • 就像你的私家車——隨時可用，但停著也在計費

$$

recraft: half: 私家車停在車道上，隨時可用但閒置也要花錢，代表永遠開機的運算資源

Databricks Lakehouse 入門

作業叢集

$$

  • 作業啟動時自動建立
  • 執行單一任務後即終止
  • 不需手動管理
  • 為正式環境的工作量成本最佳化

$$

recraft: half: 現代計程車，頂部計費表發光，代表隨需啟動並自動停止的運算資源

Databricks Lakehouse 入門

何時用哪一種？

$$

比較：All-Purpose、互動式開發、Notebook 工作、臨時 SQL、團隊共用 | Jobs、夜間 ETL、排程報表、自動測試、正式環境

  • 常見錯誤：在全用途叢集上執行正式環境的管線
Databricks Lakehouse 入門

Databricks Runtime

$$

  • 在每個叢集上執行的版本化軟體堆疊
  • 包含 Apache Spark、Delta Lake、Python、R、Scala
  • LTS 版本：長期支援，建議用於正式環境
  • ML Runtime 另含預先安裝的 ML 函式庫

$$

層級：Runtime 15.4 LTS、Apache Spark 3.5.x、Delta Lake 3.2.x、Python 3.11 / Scala 2.12 / R 4.3、系統函式庫

Databricks Lakehouse 入門

重點整理

$$

  • 全用途叢集：互動、共用、手動管理
  • 作業叢集：自動化、單一任務、成本最佳化
  • Databricks Runtime：版本化軟體堆疊（正式環境用 LTS）
  • 依工作負載選對叢集類型，以控管成本
Databricks Lakehouse 入門

一起來練習吧！

Databricks Lakehouse 入門

Preparing Video For Download...