数据智能平台 - 计算

Databricks 入门

Kevin Barlow

Data Practitioner

为何组织重视计算？

单个齿轮

齿轮系统

Apache Spark

由 Databricks 联合创始人创建
开源框架
高效的分布式计算
提供 Python、SQL、Scala、R 的 API
适用于各类用例：
- 从数据工程到机器学习与商业智能

查看 DataCamp 上的部分 Apache Spark 课程！

Apache Spark 标志

集群类型

经典（Classic）

计算资源（虚拟机）在计算平面中创建
Databricks 向您的云提供配置
优点：计算与安全在您的环境内，可复用现有计算池等
缺点：启动慢

Databricks 控制平面

集群类型

无服务器（Serverless）

计算资源（虚拟机）在控制平面中创建
Databricks 向您的用户提供访问
优点：启动快、最新功能、性能最佳，且随时间持续优化
缺点？：计算不在您的环境中

无服务器架构

单节点 vs 多节点

单节点

仅含驱动节点的集群
仍可运行 Spark
也可运行单节点框架（如 pandas）
适合小型数据集

单节点集群

多节点

含一个驱动节点和一个或多个工作节点的集群
Spark 可在多节点间分配任务
适合大型数据集

多节点集群

Databricks Runtime

安装在每个 Databricks 集群上
- 优化版 Apache Spark
- Photon 加速 SQL 查询
- 常用库（如 pandas、dplyr、scikit-learn）
- 与 Databricks 服务对接的逻辑

一般建议：使用最新的长期支持（LTS）版 Runtime

带 Databricks Runtime 的集群

开始练习吧！

Databricks 入门

Preparing Video For Download...