Orchestration ใน Databricks

แนวคิด Databricks

Kevin Barlow

Data Analytics Practitioner

Data Orchestration คืออะไร?

Data Engineer

Databricks Workflows คือชุดความสามารถในตัวสำหรับจัดการ Orchestration กระบวนการข้อมูลทั้งหมด โดยไม่มีค่าใช้จ่ายเพิ่มเติม!

ตัวอย่าง Databricks Workflow

แผนภาพ Databricks Workflows

¹ https://docs.databricks.com/workflows

งาน Orchestration - DE / DS

งาน Orchestration - DA

ผู้ใช้สามารถสร้าง Job ได้โดยตรงจาก Databricks UI:

Databricks Jobs UI

¹ https://docs.databricks.com/workflows/jobs

ผู้ใช้สามารถสร้าง Job ด้วยโค้ดผ่าน Jobs CLI หรือ Jobs API บนแพลตฟอร์ม Databricks ได้เช่นกัน

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}

แผนภาพ Delta Live Tables

แผนภาพ Delta Live Tables

แผนภาพ Delta Live Tables

แนวคิด Databricks