Orchestrace v Databricks

Databricks Concepts

Kevin Barlow

Data Analytics Practitioner

Co je datová orchestrace?

  • Datová orchestrace je forma automatizace!

Datový inženýr

  • Umožňuje datovým inženýrům automatizovat celý životní cyklus dat
Databricks Concepts

Databricks Workflows

Databricks Workflows je soubor integrovaných nástrojů pro orchestraci všech datových procesů – bez dodatečných nákladů!

Příklad Databricks Workflow

Diagram Databricks Workflows

1 https://docs.databricks.com/workflows
Databricks Concepts

Co lze orchestrovat?

Datoví inženýři / datoví vědci

Úlohy orchestrace – DE / DS

Datoví analytici

Úlohy orchestrace – DA

Databricks Concepts

Databricks Jobs

Uživatelské rozhraní Workflows

Uživatelé mohou vytvářet úlohy přímo z rozhraní Databricks:

  • Přímo z notebooku
  • V sekci Workflows

Uživatelské rozhraní Databricks Jobs

1 https://docs.databricks.com/workflows/jobs
Databricks Concepts

Databricks Jobs

Programmaticky

Uživatelé mohou vytvářet úlohy také programmaticky pomocí Jobs CLI nebo Jobs API na platformě Databricks.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Databricks Concepts

Delta Live Tables

Diagram Delta Live Tables

Databricks Concepts

Delta Live Tables

Diagram Delta Live Tables

Databricks Concepts

Delta Live Tables

Diagram Delta Live Tables

Databricks Concepts

Pojďme si procvičit!

Databricks Concepts

Preparing Video For Download...