Điều phối trong Databricks

Các khái niệm về Databricks

Kevin Barlow

Data Analytics Practitioner

Điều phối dữ liệu là gì?

Kỹ sư dữ liệu

Databricks Workflows là tập hợp khả năng tích hợp sẵn để điều phối mọi quy trình dữ liệu, không tốn thêm chi phí!

Ví dụ về Databricks Workflow

Sơ đồ Databricks Workflows

¹ https://docs.databricks.com/workflows

Nhiệm vụ điều phối - DE / DS

Nhiệm vụ điều phối - DA

Người dùng có thể tạo job trực tiếp từ giao diện Databricks:

Giao diện Databricks Jobs

¹ https://docs.databricks.com/workflows/jobs

Người dùng cũng có thể tạo job bằng Jobs CLI hoặc Jobs API trên nền tảng Databricks.

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}

Sơ đồ Delta Live Tables

Sơ đồ Delta Live Tables

Sơ đồ Delta Live Tables

Các khái niệm về Databricks