Оркестрация в Databricks

Концепции Databricks

Kevin Barlow

Data Analytics Practitioner

Что такое оркестрация данных?

Инженер данных

Databricks Workflows — набор встроенных инструментов для оркестрации всех процессов с данными, без дополнительных затрат!

Пример Databricks Workflow

Схема Databricks Workflows

¹ https://docs.databricks.com/workflows

Задачи оркестрации — инженеры/специалисты по данным

Задачи оркестрации — аналитики данных

Пользователи могут создавать задания прямо в интерфейсе Databricks:

Интерфейс Databricks Jobs

¹ https://docs.databricks.com/workflows/jobs

Пользователи также могут создавать задания программно — через Jobs CLI или Jobs API платформы Databricks.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}

Схема Delta Live Tables

Схема Delta Live Tables

Схема Delta Live Tables

Концепции Databricks