Orchestratie in Databricks

Databricks-concepten

Kevin Barlow

Data Analytics Practitioner

Wat is data-orchestratie?

  • Data-orchestratie is een vorm van automatisering!

Data Engineer

  • Hiermee kunnen data-engineers de volledige datalevenscyclus automatiseren
Databricks-concepten

Databricks Workflows

Databricks Workflows bundelt ingebouwde functies om al je dataprocessen te orkestreren, zonder extra kosten!

Voorbeeld van een Databricks-workflow

Diagram Databricks Workflows

1 https://docs.databricks.com/workflows
Databricks-concepten

Wat kunnen we orkestreren?

Data-engineers/data scientists

Orchestratie-taken - DE / DS

Data-analisten

Orchestratie-taken - DA

Databricks-concepten

Databricks Jobs

Workflows-UI

Je kunt jobs direct aanmaken via de Databricks-UI:

  • Direct vanuit een notebook
  • In de sectie Workflows

Databricks Jobs-UI

1 https://docs.databricks.com/workflows/jobs
Databricks-concepten

Databricks Jobs

Programmatisch

Je kunt ook jobs programmatisch aanmaken met de Jobs CLI of Jobs API op het Databricks-platform.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Databricks-concepten

Delta Live Tables

Diagram Delta Live Tables

Databricks-concepten

Delta Live Tables

Diagram Delta Live Tables

Databricks-concepten

Delta Live Tables

Diagram Delta Live Tables

Databricks-concepten

Laten we oefenen!

Databricks-concepten

Preparing Video For Download...