Orkestrasi di Databricks

Konsep Databricks

Kevin Barlow

Data Analytics Practitioner

Apa itu orkestrasi data?

  • Orkestrasi data adalah bentuk otomatisasi!

Insinyur Data

  • Memungkinkan engineer data mengotomatisasi siklus hidup data end-to-end
Konsep Databricks

Databricks Workflows

Databricks Workflows adalah kumpulan kemampuan bawaan untuk mengorkestrasi semua proses data Anda, tanpa biaya tambahan!

Contoh Databricks Workflow

Diagram Databricks Workflows

1 https://docs.databricks.com/workflows
Konsep Databricks

Apa yang dapat kita orkestrasi?

Data engineer/data scientist

Tugas Orkestrasi - DE / DS

Analis data

Tugas Orkestrasi - DA

Konsep Databricks

Databricks Jobs

Antarmuka Workflows

Pengguna dapat membuat job langsung dari UI Databricks:

  • Langsung dari notebook
  • Di bagian Workflows

UI Databricks Jobs

1 https://docs.databricks.com/workflows/jobs
Konsep Databricks

Databricks Jobs

Pemrograman

Pengguna juga dapat membuat job secara terprogram dengan Jobs CLI atau Jobs API di platform Databricks.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Konsep Databricks

Delta Live Tables

Diagram Delta Live Tables

Konsep Databricks

Delta Live Tables

Diagram Delta Live Tables

Konsep Databricks

Delta Live Tables

Diagram Delta Live Tables

Konsep Databricks

Ayo berlatih!

Konsep Databricks

Preparing Video For Download...