Databricks에서의 오케스트레이션

Databricks 개념

Kevin Barlow

Data Analytics Practitioner

데이터 오케스트레이션이란?

데이터 엔지니어

Databricks Workflows는 모든 데이터 프로세스를 오케스트레이션하는 내장 기능 모음으로, 추가 비용이 없습니다!

Databricks Workflow 예시

Databricks Workflows 다이어그램

¹ https://docs.databricks.com/workflows

오케스트레이션 작업 - DE / DS

오케스트레이션 작업 - DA

사용자는 Databricks UI에서 바로 잡을 만들 수 있습니다:

Databricks Jobs UI

¹ https://docs.databricks.com/workflows/jobs

Jobs CLI 또는 Jobs API를 사용해 Databricks에서 프로그래밍적으로 잡을 생성할 수도 있습니다.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}

Delta Live Tables 다이어그램

Delta Live Tables 다이어그램

Delta Live Tables 다이어그램

Databricks 개념