Orchestration în Databricks

Concepte Databricks

Kevin Barlow

Data Analytics Practitioner

Ce este orchestrarea datelor?

  • Orchestrarea datelor este o formă de automatizare!

Inginer de date

  • Permite inginerilor de date să automatizeze ciclul de viață complet al datelor
Concepte Databricks

Databricks Workflows

Databricks Workflows este un set de capabilități integrate pentru orchestrarea tuturor proceselor de date, fără costuri suplimentare!

Exemplu de Databricks Workflow

Diagrama Databricks Workflows

1 https://docs.databricks.com/workflows
Concepte Databricks

Ce putem orchestra?

Ingineri/oameni de știință a datelor

Sarcini de orchestrare - IE / OȘD

Analiști de date

Sarcini de orchestrare - AD

Concepte Databricks

Databricks Jobs

Interfața Workflows

Utilizatorii pot crea joburi direct din interfața Databricks:

  • Direct dintr-un notebook
  • În secțiunea Workflows

Interfața Databricks Jobs

1 https://docs.databricks.com/workflows/jobs
Concepte Databricks

Databricks Jobs

Programatic

Utilizatorii pot crea joburi și programatic, folosind Jobs CLI sau Jobs API în platforma Databricks.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Concepte Databricks

Delta Live Tables

Diagrama Delta Live Tables

Concepte Databricks

Delta Live Tables

Diagrama Delta Live Tables

Concepte Databricks

Delta Live Tables

Diagrama Delta Live Tables

Concepte Databricks

Să exersăm!

Concepte Databricks

Preparing Video For Download...