Databricks Lakehouse 平台的核心功能

Databricks 概念

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark 是開源的資料處理框架，也是 Databricks 的底層引擎。

DataCamp 課程

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
Databricks 概念

Spark 的優勢

重點優勢：

  1. 可延伸、彈性的開源框架
  2. 龐大的開發者社群
  3. 高效能
  4. Databricks 最佳化

Spark 叢集示意圖

1 https://spark.apache.org/docs/latest/cluster-overview.html
Databricks 概念

雲端運算基礎

傳統運算

雲端運算

Databricks 概念

Databricks 計算資源

叢集（Clusters）

  • 計算資源的集合
  • 支援各類工作負載與情境
  • 通用叢集 vs. 工作叢集（Jobs）

Databricks 支援語言

SQL Warehouses

  • 僅支援 SQL
  • 適用 BI 情境
  • Photon

SQL 語言

Databricks 概念

雲端資料儲存

雲端資料儲存 - 資料庫

雲端資料儲存 - 檔案

Databricks 概念

Delta

Delta Lake 標誌

Delta 是開源的資料儲存檔案格式，提供：

  • ACID 交易
  • 統一批次與串流
  • 綱要演進（Schema evolution）
  • 資料表歷史
  • 時間回溯（Time-travel）
1 delta.io
Databricks 概念

Unity Catalog

Unity Catalog 是開放的資料治理策略，用來管控 Databricks Lakehouse 平台中所有資料資產的存取。

  • 使用 SQL GRANT、REVOKE 陳述式控管存取
  • 簡潔的治理介面

資料目錄

Databricks 概念

Databricks 介面（UI）

依你的資料工作負載設計，讓功能更易上手。

  • 所有人都可存取資料與計算資源
  • SQL 使用者有熟悉的查詢與報表介面
  • 資料工程師可運用 Delta Live Tables
  • 機器學習工作負載可用模型、特徵等

Databricks 選單

Databricks 概念

來複習一下！

Databricks 概念

Preparing Video For Download...