Databricks 中的编排

Databricks 概念

Kevin Barlow

Data Analytics Practitioner

什么是数据编排？

  • 数据编排是一种自动化！

数据工程师

  • 使数据工程师可自动化端到端数据生命周期
Databricks 概念

Databricks Workflows

Databricks Workflows 是一组内置能力，可编排所有数据流程，且无需额外费用！

Databricks 工作流示例

Databricks Workflows 图示

1 https://docs.databricks.com/workflows
Databricks 概念

我们能编排什么？

数据工程师/数据科学家

编排任务 - DE / DS

数据分析师

编排任务 - DA

Databricks 概念

Databricks 作业

Workflows 界面

用户可直接在 Databricks 界面创建作业：

  • 直接从笔记本
  • 在 Workflows 区域

Databricks 作业界面

1 https://docs.databricks.com/workflows/jobs
Databricks 概念

Databricks 作业

编程方式

也可通过 Databricks 平台使用 Jobs CLI 或 Jobs API 以编程方式创建作业。

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Databricks 概念

Delta Live Tables

Delta Live Tables 图示

Databricks 概念

Delta Live Tables

Delta Live Tables 图示

Databricks 概念

Delta Live Tables

Delta Live Tables 图示

Databricks 概念

¡Vamos a practicar!

Databricks 概念

Preparing Video For Download...