Fabric Data Pipelines परिचय
Microsoft Fabric में Data Ingestion और Semantic Models
Alex Kuntz
Head of Cloud Curriculum, DataCamp
Microsoft Fabric में Data Pipelines
Data Factory की दो प्रमुख हाई-लेवल विशेषताएँ:
- Data Pipelines - डेटा मूवमेंट को ऑर्केस्ट्रेट करता है.
- Dataflows - UI-आधारित 300+ डेटा ट्रांसफॉर्मेशन सपोर्ट करता है.
Microsoft Fabric में Data Pipelines:
- न्यूनतम या बिना कोड के ETL ऑटोमेट करता है.
- विविध डेटा सोर्सेज का सहज इंटीग्रेशन सपोर्ट करता है
- डेटा इनजेशन और ट्रांसफॉर्मेशन के लिए समृद्ध एक्टिविटीज़ सेट
- पाइपलाइन्स को मैन्युअली चलाएँ या ट्रिगर्स से शेड्यूल करें
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Data Pipelines में Activities
Activities, Pipelines के भीतर टास्क होती हैं, जो डेटा प्रोसेसिंग और वर्कफ़्लो ऑटोमेशन को ऑर्केस्ट्रेट करती हैं.
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Activities के प्रकार
- Move & Transform:
- डेटा ट्रांसफर और ट्रांसफॉर्मेशन टास्क संभालता है
- (जैसे, Copy data
).
- Metadata & Validation:
- डेटा क्वालिटी चेक और मेटाडेटा रिट्रीवल मैनेज करता है.
- (जैसे, Lookup
).
- Control Flow:
- कंडीशंस और लूप्स के आधार पर टास्क क्रम नियंत्रित करता है.
- (जैसे, If condition
, ForEach 
).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Activities के प्रकार
Orchestrate:
- कई प्रक्रियाओं को सिंक्रोनाइज़ करें
- (जैसे, Invoke Pipeline
).
Notifications:
- ईमेल या मैसेजिंग टूल्स से अलर्ट और अपडेट भेजता है
- (जैसे, 365 Outlook
, Teams
).
Transform:
- बिज़नेस लॉजिक के अनुसार डेटा मैनिपुलेशंस चलाता है.
- (जैसे, Notebook
, Stored Procedure
).
Pipeline runs
एक pipeline run, आपकी पाइपलाइन की activities को पूरा होने तक चलाता है.
- On-Demand: Fabric UI से सीधे पाइपलाइन्स शुरू करें.
- Scheduled: एक निर्दिष्ट फ़्रीक्वेंसी पर रन शुरू करता है.
Monitoring:
- Monitor टैब में यूनिक Run ID से हर pipeline run ट्रैक और रिव्यू करें.
Validation:
- एक्ज़ीक्यूशन से पहले Validate विकल्प से पाइपलाइन कॉन्फ़िगरेशन जाँचें.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
