Microsoft Fabric में डेटा इंजीनियरिंग

Microsoft Fabric के साथ डेटा ट्रांसफॉर्म करें और विश्लेषण करें

Luis Silva

Solution Architect - Data & AI

एंड-टू-एंड डेटा एनालिटिक्स

• स्रोत से डेटा इनजेस्ट करें और उसे डेटा लेक में स्टोर करें
• डेटा तैयार करें और ट्रांसफ़ॉर्म करें
• डेटा विज़ुअलाइज़ करें और विश्लेषण करें

Data Factory

• डेटा इनजेस्ट, तैयारी और ट्रांसफ़ॉर्म
• Dataflows और Data Pipelines

Dataflows

• डेटा इनजेशन और ट्रांसफ़ॉर्मेशन के लिए लो-कोड इंटरफ़ेस
• Power Query ट्रांसफ़ॉर्मेशन इंजन

Data Pipelines

• गतिविधियों का संग्रह जो एक कार्य पूरा करती हैं
• गतिविधियों के प्रकार:
  • डेटा मूवमेंट (Copy activity, Dataflow)
  • डेटा ट्रांसफ़ॉर्मेशन (Notebook, Stored Procedure, Script)
  • कंट्रोल (Switch, If, ForEach, Wait)

Synapse डेटा इंजीनियरिंग

• Lakehouses
• Notebooks
• Apache Spark Job definitions

Lakehouses

• स्ट्रक्चर्ड डेटा (टेबल्स)
• अनस्ट्रक्चर्ड डेटा (फ़ाइलें)

Notebooks

• इंटरैक्टिव वेब इंटरफ़ेस
  • डेटा मैनिपुलेशन कोड
  • डेटा विज़ुअलाइज़ेशन
  • कमेंट्स / व्याख्या
• मल्टी-लैंग्वेज सपोर्ट:
  • PySpark (Python)
  • Spark (Scala)
  • Spark SQL (SQL)
  • SparkR (R)

Apache Spark Job Definitions

• Spark क्लस्टर्स को बैच/स्ट्रीमिंग जॉब्स सबमिट करें
• Notebooks का विकल्प या पूरक:
  • डेटा एक्सप्लोरेशन, प्रोटोटाइपिंग और सहयोगी डेवलपमेंट के लिए Notebooks
  • प्रोडक्शन-रेडी डेटा प्रोसेसिंग कोड के ऑटोमेशन के लिए Spark Job Definition

Synapse डेटा वेयरहाउस

• पारंपरिक रिलेशनल डेटा वेयरहाउस जैसा व्यवहार करता है
• OneLake में ओपन Delta Lake फ़ॉर्मेट में डेटा स्टोर करता है
• अन्य Fabric वर्कलोड्स के साथ इंटरऑपरेबिलिटी सक्षम करता है
• डेटा की कई कॉपी बनाने की ज़रूरत नहीं

डेटा स्टोर कैसे चुनें

• Lakehouse
  • अनस्ट्रक्चर्ड डेटा (फ़ाइलें)
  • मुख्य डेवलपमेंट इंटरफ़ेस के रूप में Spark

 

• Warehouse
  • स्ट्रक्चर्ड डेटा (टेबल्स)
  • मुख्य डेवलपमेंट इंटरफ़ेस के रूप में T-SQL

डेटा कॉपी टूल कैसे चुनें

डेटा कॉपी टूल कैसे चुनें

डेटा कॉपी टूल कैसे चुनें

अभ्यास करते हैं!

Microsoft Fabric के साथ डेटा ट्रांसफॉर्म करें और विश्लेषण करें