डेटा पाइपलाइंस

डेटा साइंस को समझना

Sara Billen

Curriculum Manager

$$ एक स्रोत से डेटा संग्रह और इनजेशन

$$ तीन स्रोतों से डेटा संग्रह और इनजेशन

एक से अधिक डेटा स्रोत:

अलग-अलग डेटा टाइप्स:

डेटा पाइपलाइन क्या है?

डेटा को परिभाषित चरणों में ले जाता है
कलेक्शन और स्टोरेज ऑटोमेटेड
- हर घंटे, रोज़, साप्ताहिक शेड्यूल
- किसी इवेंट से ट्रिगर
जनरेटेड अलर्ट्स से मॉनिटर किया जाता है
बिग डेटा प्रोजेक्ट्स के लिए आवश्यक
डेटा इंजीनियर्स कस्टम सॉल्यूशंस बनाते हैं
Extract Transform Load (ETL)

डेटा पाइपलाइन

डेटा	स्रोत	आवृत्ति
मौसम स्थितियाँ	National Weather Service API	हर 30 मिनट
आपके क्षेत्र के ट्वीट्स	Twitter API	रियल-टाइम स्ट्रीम
इंडोर तापमान	स्मार्ट होम थर्मोस्टैट	हर 5 मिनट
लाइट्स की स्थिति	स्मार्ट बल्ब्स	हर मिनट
लॉक्स की स्थिति	स्मार्ट डोर लॉक्स	हर 15 सेकंड
ऊर्जा खपत	स्मार्ट मीटर	साप्ताहिक

Extract चरण

Load चरण

$$ उदाहरण ट्रांसफॉर्मेशन:

डेटा तैयारी और एक्सप्लोरेशन इस चरण में नहीं होते