Dataflow Gen2 परफॉर्मेंस ऑप्टिमाइज़ करना

Microsoft Fabric में Data Ingestion और Semantic Models

Fiodar Sazanavets

Senior Software Engineer

डिज़ाइन बदलने से पहले धीला फेज़ पहचानें

  • Recent runs > रन का start time चुनें
  • टेबल्स और गतिविधियों में Duration तुलना करें
  • सबसे धीले फेज़ को पहले फिक्स करें
  • एक बदलाव करें, रिफ्रेश करें, और तुलना करें

रिफ्रेश फेज़ और अवधि: Extract 3 मिनट, Transform 24 मिनट (बॉटलनेक के रूप में चिह्नित), और Load 4 मिनट

Microsoft Fabric में Data Ingestion और Semantic Models

जटिलता बढ़ाने से पहले लोड घटाएँ

80-कालम सोर्स को 12 कालम और कम रोज़ तक घटाना, फिर ट्रांसफॉर्म कर Lakehouse में लोड करना

  • Source के पास अनयूज्ड कॉलम हटाएँ (Choose columns / Remove columns)
  • बाद के स्टेप कम डेटा संभालेंगे
  • कॉलम फ़िल्टर से रोज़ फ़िल्टर करें
Microsoft Fabric में Data Ingestion और Semantic Models

साझा तैयारी एक बार स्टेज करें

OrdersRaw क्वेरी के राइट-क्लिक मेनू में Enable staging (चेक्ड) और Reference लाल बॉर्डर में

  • महंगा क्लीनअप कई क्वेरियों को फीड कर सकता है
  • Enable staging साझा रिजल्ट स्टोर करता है
  • Reference उसे रीउस करने वाली क्वेरियाँ बनाता है
Microsoft Fabric में Data Ingestion और Semantic Models

Fast Copy कब लागू होता है

  • जब क्वेरी क्वालिफाई करती है तो ऑटो-यूज़ होता है

 

शर्त Fast Copy को चाहिए
क्षमता Fabric capacity
कनेक्टर Supported, जैसे Lakehouse, SQL, Snowflake, ADLS Gen2
ट्रांसफॉर्मेशन केवल compatible स्टेप; Group by या merge को referencing क्वेरी में शिफ्ट करें
साइज डिफॉल्ट से 100 MB+ फाइलें या 5M+ रोज़
डेस्टिनेशन केवल Lakehouse
Microsoft Fabric में Data Ingestion और Semantic Models

Fast Copy ऑन/ऑफ करना

Dataflow Gen2 Home रिबन में Options आइकन पर पॉइंटर, टूलटिप "Manage options for your Power Query environment"

Scale पेज पर Options डायलॉग, जिसमें Fast Copy सेटिंग "Allow use of fast copy connectors" चुनी हुई है और लाल बॉर्डर में है

  • डिफॉल्ट में ऑन; मुख्यतः {{1}} के लिए ऑफ करें
  • Options > Scale > Allow use of fast copy connectors
  • Require fast copy साइज थ्रेशहोल्ड को स्किप करता है
  • पर अगर Fast Copy नहीं चल पाती, तो रिफ्रेश फेल होगा
Microsoft Fabric में Data Ingestion और Semantic Models

कारण के अनुसार सही उपाय चुनें

कारण उपाय
बहुत ज़्यादा डेटा शुरुआत में कम करें
दोहराई तैयारी एक बार स्टेज करें
बड़ा लोड, हल्के ट्रांसफॉर्म Fast Copy
ब्रांचिंग, नोटिफिकेशन, कोऑर्डिनेशन पाइपलाइन
निरंतर replication चाहिए Mirroring
बड़े टेबल पर हेवी मर्ज सोर्स पर पुश करें (view या folded query)
गलत टूल टूल बदलें
Microsoft Fabric में Data Ingestion और Semantic Models

अभ्यास करते हैं!

Microsoft Fabric में Data Ingestion और Semantic Models

Preparing Video For Download...