集群类型与运行时

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

什么是集群？

$$

  • 运行您代码的虚拟机集合
  • 一个 driver 节点负责协调
  • 一个或多个 worker 节点负责处理
  • 集群从云存储读取数据

$$

$$

层级：Driver 节点、Worker 1、Worker 2、Worker 3、云存储

Databricks Lakehouse 入门

通用集群

$$

  • 用于交互式开发和临时查询
  • 在团队内共享给多位用户
  • 运行至您手动停止
  • 类比私家车：随时可用，但闲置也计费

$$

recraft: half: 车道上的一辆私家车，随时可用但空闲也要花钱，代表始终在线的计算资源

Databricks Lakehouse 入门

作业集群

$$

  • 作业开始时自动创建
  • 运行单个任务后即终止
  • 无需手动管理
  • 为生产负载成本优化

$$

recraft: half: 一辆计价器发光的现代出租车，代表按需的计算资源，自动启动与停止

Databricks Lakehouse 入门

何时用哪种？

$$

对比：All-Purpose，交互开发、Notebook 工作、临时 SQL、团队共享 | Jobs，每夜 ETL、定时报表、自动测试、生产

  • 常见错误：在通用集群上运行生产管道
Databricks Lakehouse 入门

Databricks Runtime

$$

  • 在每个集群上运行的版本化软件栈
  • 包含 Apache Spark、Delta Lake、Python、R、Scala
  • LTS 版本——长期支持，推荐用于生产
  • ML Runtime 额外预装 ML 库

$$

层级：Runtime 15.4 LTS、Apache Spark 3.5.x、Delta Lake 3.2.x、Python 3.11 / Scala 2.12 / R 4.3、系统库

Databricks Lakehouse 入门

小结

$$

  • 通用集群——交互式、可共享、手动管理
  • 作业集群——自动化、单任务、成本优化
  • Databricks Runtime——版本化软件栈（生产用 LTS）
  • 工作负载匹配集群类型以控制成本
Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...