Databricks におけるオーケストレーション

Databricks の基本概念

Kevin Barlow

Data Analytics Practitioner

データオーケストレーションとは？

データエンジニア

Databricks Workflows は、追加費用なしであらゆるデータ処理をオーケストレーションできる組み込み機能のセットです。

Databricks ワークフロー例

Databricks Workflows の図

¹ https://docs.databricks.com/workflows

オーケストレーションタスク - DE / DS

オーケストレーションタスク - DA

ユーザーは Databricks の UI から直接ジョブを作成できます。

Databricks の Jobs UI

¹ https://docs.databricks.com/workflows/jobs

ユーザーは Databricks プラットフォームの Jobs CLI または Jobs API を使って、プログラムでジョブを作成できます。

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}

Delta Live Tables の図

Delta Live Tables の図

Delta Live Tables の図

Databricks の基本概念