Databricks में Orchestration

Databricks कॉन्सेप्ट्स

Kevin Barlow

Data Analytics Practitioner

Data orchestration क्या है?

  • Data orchestration ऑटोमेशन का एक रूप है!

डेटा इंजीनियर

  • यह डेटा इंजीनियर्स को end-to-end डेटा लाइफसाइकल ऑटोमेट करने देता है
Databricks कॉन्सेप्ट्स

Databricks Workflows

Databricks Workflows बिना अतिरिक्त लागत के, आपके सभी डेटा प्रोसेसेज़ को ऑर्केस्ट्रेट करने की बिल्ट-इन क्षमताओं का सेट है!

उदाहरण Databricks Workflow

Databricks Workflows आरेख

1 https://docs.databricks.com/workflows
Databricks कॉन्सेप्ट्स

हम क्या ऑर्केस्ट्रेट कर सकते हैं?

डेटा इंजीनियर्स/डेटा साइंटिस्ट्स

Orchestration Tasks - DE / DS

डेटा एनालिस्ट्स

Orchestration Tasks - DA

Databricks कॉन्सेप्ट्स

Databricks Jobs

Workflows UI

यूज़र्स Databricks UI से सीधे जॉब्स बना सकते हैं:

  • सीधे किसी नोटबुक से
  • Workflows सेक्शन में

Databricks Jobs UI

1 https://docs.databricks.com/workflows/jobs
Databricks कॉन्सेप्ट्स

Databricks Jobs

प्रोग्रामेटिक

यूज़र्स Databricks प्लेटफ़ॉर्म पर Jobs CLI या Jobs API से प्रोग्रामेटिक तरीके से भी जॉब्स बना सकते हैं।

{
  "name": "A multitask job",
  "tags": {},
  "tasks": [],
  "job_clusters": [],
  "format": "MULTI_TASK",
}
Databricks कॉन्सेप्ट्स

Delta Live Tables

Delta Live Tables आरेख

Databricks कॉन्सेप्ट्स

Delta Live Tables

Delta Live Tables आरेख

Databricks कॉन्सेप्ट्स

Delta Live Tables

Delta Live Tables आरेख

Databricks कॉन्सेप्ट्स

अभ्यास करते हैं!

Databricks कॉन्सेप्ट्स

Preparing Video For Download...