Оркестрація в Databricks

Концепції Databricks

Kevin Barlow

Data Analytics Practitioner

Що таке оркестрація даних?

Інженер даних

Databricks Workflows — це вбудований набір можливостей для оркестрації всіх ваших процесів даних без додаткової оплати!

Приклад робочого процесу Databricks

Схема Databricks Workflows

¹ https://docs.databricks.com/workflows

Завдання оркестрації — DE / DS

Завдання оркестрації — DA

Користувачі можуть створювати job'и безпосередньо в інтерфейсі Databricks:

Інтерфейс Databricks Jobs

¹ https://docs.databricks.com/workflows/jobs

Користувачі також можуть створювати job'и програмно за допомогою Jobs CLI або Jobs API на платформі Databricks.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}

Схема Delta Live Tables

Схема Delta Live Tables

Схема Delta Live Tables

Концепції Databricks