Databricks Lakehouse 平台的核心功能

Databricks 概念

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark 是开源的数据处理框架，也是 Databricks 的底层引擎。

DataCamp 课程

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
Databricks 概念

Spark 的优势

主要优势：

  1. 可扩展、灵活的开源框架
  2. 庞大的开发者社区
  3. 高性能
  4. Databricks 级优化

Spark 集群示意图

1 https://spark.apache.org/docs/latest/cluster-overview.html
Databricks 概念

云计算基础

传统计算

云计算

Databricks 概念

Databricks 计算

集群（Clusters）

  • 计算资源集合
  • 适用于所有工作负载与用例
  • 通用型 vs. 作业型

Databricks 支持的语言

SQL 仓库（SQL Warehouses）

  • 仅支持 SQL
  • BI 场景
  • Photon

SQL 语言

Databricks 概念

云数据存储

云数据存储 - DB

云数据存储 - 文件

Databricks 概念

Delta

Delta Lake 标志

Delta 是一种开源数据存储文件格式，提供：

  • ACID 事务
  • 批处理与流处理统一
  • 模式演进
  • 表历史
  • 时光回溯
1 delta.io
Databricks 概念

Unity Catalog

Unity Catalog 是一套开放的数据治理方案，控制对 Databricks Lakehouse 平台中所有数据资产的访问。

  • 通过 SQL GRANT、REVOKE 控制权限
  • 简洁的治理界面

数据目录

Databricks 概念

Databricks 界面

为不同数据工作负载提供更便捷的能力入口。

  • 所有用户可访问数据与计算
  • SQL 用户获得熟悉的查询与报表界面
  • 数据工程师可使用 Delta Live Tables
  • 机器学习使用模型、特征等

Databricks 菜单

Databricks 概念

复习一下！

Databricks 概念

Preparing Video For Download...