Orkestrering i Databricks

Databricks – grundläggande koncept

Kevin Barlow

Data Analytics Practitioner

Vad är dataorkestrering?

  • Dataorkestrering är en form av automatisering!

Data Engineer

  • Gör det möjligt för datatekniker att automatisera hela datas livscykel
Databricks – grundläggande koncept

Databricks Workflows

Databricks Workflows är en samling inbyggda funktioner för att orkestrera alla dina dataprocesser – utan extra kostnad!

Exempel på Databricks Workflow

Databricks Workflows diagram

1 https://docs.databricks.com/workflows
Databricks – grundläggande koncept

Vad kan vi orkestrera?

Datatekniker/datavetare

Orchestration Tasks - DE / DS

Dataanalytiker

Orchestration Tasks - DA

Databricks – grundläggande koncept

Databricks Jobs

Workflows UI

Användare kan skapa jobb direkt från Databricks UI:

  • Direkt från en notebook
  • I avsnittet Workflows

Databricks Jobs UI

1 https://docs.databricks.com/workflows/jobs
Databricks – grundläggande koncept

Databricks Jobs

Programmatiskt

Användare kan även skapa jobb programmatiskt via Jobs CLI eller Jobs API i Databricks-plattformen.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Databricks – grundläggande koncept

Delta Live Tables

Delta Live Tables Diagram

Databricks – grundläggande koncept

Delta Live Tables

Delta Live Tables Diagram

Databricks – grundläggande koncept

Delta Live Tables

Delta Live Tables Diagram

Databricks – grundläggande koncept

Nu kör vi en övning!

Databricks – grundläggande koncept

Preparing Video For Download...