Databricks'te orkestrasyon

Databricks Kavramları

Kevin Barlow

Data Analytics Practitioner

Veri orkestrasyonu nedir?

  • Veri orkestrasyonu bir otomasyon biçimidir!

Veri Mühendisi

  • Veri mühendislerinin uçtan uca veri yaşam döngüsünü otomatikleştirmesini sağlar
Databricks Kavramları

Databricks Workflows

Databricks Workflows, tüm veri süreçlerinizi ek ücret olmadan orkestrasyon için yerleşik yetenekler sunar!

Örnek Databricks Workflow

Databricks Workflows diyagramı

1 https://docs.databricks.com/workflows
Databricks Kavramları

Neleri orkestre edebiliriz?

Veri mühendisleri/veri bilimcileri

Orkestrasyon Görevleri - DE / DS

Veri analistleri

Orkestrasyon Görevleri - DA

Databricks Kavramları

Databricks Jobs

Workflows arayüzü

Kullanıcılar Databricks arayüzünden doğrudan iş oluşturabilir:

  • Doğrudan bir defterden
  • Workflows bölümünde

Databricks Jobs arayüzü

1 https://docs.databricks.com/workflows/jobs
Databricks Kavramları

Databricks Jobs

Programatik

Kullanıcılar Databricks platformunda Jobs CLI veya Jobs API ile programatik olarak da iş oluşturabilir.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Databricks Kavramları

Delta Live Tables

Delta Live Tables Diyagramı

Databricks Kavramları

Delta Live Tables

Delta Live Tables Diyagramı

Databricks Kavramları

Delta Live Tables

Delta Live Tables Diyagramı

Databricks Kavramları

Haydi pratik yapalım!

Databricks Kavramları

Preparing Video For Download...