管理與設定叢集

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

找到你的叢集

$$

All Clusters－工作區中的所有叢集
My Clusters－你建立的叢集
Shared with Me－他人分享給你的叢集
依狀態篩選：Running、Terminated

$$

檔案櫃：以色碼與標籤分類的資料夾，象徵叢集篩選與組織

叢集狀態

流程圖：Pending、Running、Restarting、Terminating、Terminated

終止：哪些保留、哪些清除

比較：保留－Configuration、Notebooks、Cloud storage | 清除－In-memory data、Installed libraries、Temp files

終止並非刪除－設定與 notebooks 仍會保留
記憶體資料、快取與以 pip 安裝的套件會被清除

何時要重新啟動

$$

安裝了新的函式庫但無法載入
叢集表現異常或變慢
需要清除記憶體中的快取資料
更新了 init script 或環境變數

$$

電源鍵圖示，環繞藍綠色循環箭頭，象徵重新啟動或重整

Autoscaling 與 auto-termination

$$

Autoscaling 與 Auto-termination

$$

Autoscaling 依需求自動增減 workers
應對尖峰負載，避免過度配置
Auto-termination 於閒置一段時間後自動關閉
防止忘記的叢集持續耗費預算

叢集政策（Cluster policies）

$$

系統管理者定義的叢集建立防護準則
限制節點類型、最大 workers、執行階段版本
強制啟用 auto-termination 與標記
使用者需在政策範圍內建立叢集

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

重點整理

$$

使用篩選快速找到所需叢集
終止可省成本，但會清除記憶體與函式庫
重新啟動以載入新函式庫或排除問題
Autoscaling 與 auto-termination 自動控管成本
叢集政策 讓管理者強制執行標準

一起來練習吧！

Databricks Lakehouse 入門

Preparing Video For Download...