डेटा पाइपलाइन

डेटा इंजीनियरिंग को समझना

Hadrien Lacroix

Content Developer at DataCamp

अगर डेटा नया तेल है...

¹ The Economist, 2017-05-06, by David Parkins

डेटा इंजीनियरिंग पर लौटें

• Ingest
• Process
• Store
• Need pipelines
• Automate flow from one station to the next
• Provide up-to-date, accurate, relevant data

$$

डेटा पाइपलाइन्स डेटा का प्रवाह कुशल बनाती हैं

Automate

• Extracting
• Transforming
• Combining
• Validating
• Loading

Reduce

• Human intervention
• Errors
• Time it takes data to flow

ETL और डेटा पाइपलाइन्स

ETL

• डेटा पाइपलाइन्स डिजाइन करने का पॉपुलर फ्रेमवर्क
• 1) Extract डेटा
• 2) Transform निकाला गया डेटा
• 3) Load ट्रांसफॉर्म किया डेटा दूसरे डेटाबेस में

Data pipelines

• डेटा को एक सिस्टम से दूसरे में ले जाएँ
• ETL फॉलो कर सकती हैं
• डेटा ट्रांसफॉर्म न भी हो
• डेटा सीधे ऐप्लिकेशंस में भी लोड हो सकता है

सारांश

• डेटा पाइपलाइन क्या है
• यह क्या करती है
• यह क्यों महत्वपूर्ण है
• Spotflix में डेटा पाइपलाइन्स कैसे लागू हैं
• ETL क्या है और इसकी बारीकियाँ

अभ्यास करते हैं!

डेटा इंजीनियरिंग को समझना