管理与配置集群

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

查找您的集群

$$

  • All Clusters - 工作区中的全部
  • My Clusters - 您创建的
  • Shared with Me - 他人共享给您的
  • 按状态筛选：Running、Terminated

$$

recraft: half: 一个带彩色标签和分类的文件柜，表示集群筛选与组织

Databricks Lakehouse 入门

集群状态

流程图：Pending、Running、Restarting、Terminating、Terminated

Databricks Lakehouse 入门

终止：哪些保留，哪些丢失

对比：保留项：Configuration、Notebooks、Cloud storage | 丢失项：In-memory data、Installed libraries、Temp files

  • 终止并非删除——配置和笔记本会保留
  • 内存数据、缓存和通过 pip 安装的包会被清除
Databricks Lakehouse 入门

何时重启

$$

  • 安装了新的库但无法加载
  • 集群表现异常或运行缓慢
  • 需要清理内存中的缓存数据
  • 更新了初始化脚本或环境变量

$$

recraft: half: 带环形箭头的电源按钮图标，蓝绿发光，表示系统重启或刷新

Databricks Lakehouse 入门

Autoscaling 与 Auto-termination

$$

自动伸缩与自动终止

$$

  • Autoscaling 按需增减 worker
  • 处理突发负载，避免过度预配
  • Auto-termination 在空闲一段时间后关停
  • 防止遗忘的集群持续消耗预算
Databricks Lakehouse 入门

集群策略

$$

  • 管理员设定的保护规则用于集群创建
  • 限制节点类型、最大 worker 数量与运行时版本
  • 强制启用自动终止与打标签
  • 用户需在策略范围内创建集群

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}
Databricks Lakehouse 入门

小结

$$

  • 筛选集群，快速定位所需
  • 终止可省成本，但会清空内存与库
  • 重启以加载新库或排查问题
  • Autoscaling 与 auto-termination 自动控费
  • 集群策略 便于管理员统一标准
Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...