डेटाफ्लो परफॉर्मेंस ऑप्टिमाइज़ करना

Microsoft Fabric में Data Ingestion और Semantic Models

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Dataflows Gen2 में Staging

ट्रांसफॉर्मेशन के दौरान डेटा को अस्थायी रूप से रखकर परफॉर्मेंस बेहतर करता है

Staging आर्टिफैक्ट्स:
- ट्रांसफॉर्मेशन में उपयोग होने वाला छुपा Lakehouse इंटरनल स्टोरेज
- Dataflows इसे ऑटोमैटिक मैनेज करते हैं; डायरेक्ट यूज़र एक्सेस नहीं
Staging कब उपयोग करें:
- बेहतर SQL endpoint परफॉर्मेंस के लिए डिफॉल्ट रूप से सक्षम
- डायरेक्ट Lakehouse और non-warehouse लोडिंग में अक्षम (फिर सक्षम कर सकते हैं)
Staging डेटा हटाना:
- Staging अक्षम करें और रिफ्रेश करें (30 दिनों बाद साफ होगा)
- तुरंत हटाने के लिए dataflow या workspace डिलीट करें

हाई-स्पीड डेटा ingestion फीचर जो बड़े डेटासेट को स्केल पर कुशलता से संभालता है

आर्किटेक्चर: भारी वर्कलोड को Power Query से हाई-परफॉर्मेंस पाइपलाइन में रीडिस्ट्रिब्यूट करता है ताकि प्रोसेसिंग तेज हो
लाभ: बड़े डेटा के लिए स्केलेबल बैकएंड रिसोर्सेज का उपयोग कर प्रोसेसिंग समय घटाता है

DataFlows Gen2 Fast Copy आर्किटेक्चर

Prerequisites:

Files: 100 MB+ (CSV/Parquet)
Databases: 5M+ rows (Azure SQL DB, PostgreSQL)
Supported Connectors: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, On premise SQL Server, Warehouse, Oracle
Supported Transformations: Combine files, Select columns, Change data types, Rename/Remove columns

Require Fast Copy विकल्प:

विशेष डेटा डेस्टिनेशन (Lakehouse, Warehouse, या KQL Database) के लिए स्टैंड-अलोन Dataflows बनाएँ।
Preset डेस्टिनेशन सेटिंग्स ऑटो-अप्लाई होती हैं, डेवलपमेंट तेज होता है!

Preset व्यवहार: निम्न डिफॉल्ट व्यवहार हैं और बदले नहीं जा सकते

Dataflows Gen2 में डिफॉल्ट Data Destination

Microsoft Fabric में Data Ingestion और Semantic Models