Databricks 的編排

Databricks 概念

Kevin Barlow

Data Analytics Practitioner

什麼是資料編排？

  • 資料編排是一種自動化！

資料工程師

  • 讓資料工程師自動化端到端資料生命週期
Databricks 概念

Databricks Workflows

Databricks Workflows 提供內建功能，能編排所有資料流程，且不需額外費用！

Databricks Workflow 範例

Databricks Workflows 圖表

1 https://docs.databricks.com/workflows
Databricks 概念

可以編排什麼？

資料工程師／資料科學家

編排任務 - DE / DS

資料分析師

編排任務 - DA

Databricks 概念

Databricks 作業（Jobs）

Workflows 介面

使用者可直接在 Databricks 介面建立作業：

  • 從 notebook 直接建立
  • 在 Workflows 區塊中建立

Databricks Jobs 介面

1 https://docs.databricks.com/workflows/jobs
Databricks 概念

Databricks 作業（Jobs）

程式化方式

使用者也可在 Databricks 平台透過 Jobs CLI 或 Jobs API 以程式化方式建立作業。

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Databricks 概念

Delta Live Tables

Delta Live Tables 圖表

Databricks 概念

Delta Live Tables

Delta Live Tables 圖表

Databricks 概念

Delta Live Tables

Delta Live Tables 圖表

Databricks 概念

一起來練習吧！

Databricks 概念

Preparing Video For Download...