डेटा इंजीनियरिंग और बिग डेटा

डेटा इंजीनियरिंग को समझना

Hadrien Lacroix

Content Developer at DataCamp

कोर्स के बारे में

• वैचारिक कोर्स
• कोई कोडिंग नहीं
• उद्देश्य
  • डेटा इंजीनियरों से सहज संवाद कर सकें
  • आगे सीखने के लिए मजबूत आधार दें

अध्याय 1

डेटा इंजीनियरिंग क्या है?

1. डेटा इंजीनियरिंग और बिग डेटा
2. डेटा इंजीनियर बनाम डेटा साइंटिस्ट
3. डेटा पाइपलाइंस

अध्याय 2

डेटा स्टोरेज कैसे काम करता है

1. स्ट्रक्चर्ड बनाम अनस्ट्रक्चर्ड डेटा
2. SQL
3. डेटा वेयरहाउस और डेटा लेक्स

अध्याय 3

डेटा को कैसे मूव और प्रोसेस करें

1. डेटा प्रोसेसिंग
2. शेड्यूलिंग
3. पैरेलल कंप्यूटिंग
4. क्लाउड कंप्यूटिंग

$$

$$

$$

डेटा वर्कफ़्लो

डेटा वर्कफ़्लो

डेटा वर्कफ़्लो

डेटा वर्कफ़्लो

डेटा इंजीनियर

डेटा इंजीनियर

डेटा इंजीनियर डिलीवर करते हैं:

• सही डेटा
• सही रूप में
• सही लोगों को
• जितना संभव हो उतनी कुशलता से

डेटा इंजीनियर की ज़िम्मेदारियाँ

• अलग-अलग स्रोतों से डेटा इन्जेस्ट करें
• विश्लेषण के लिए डेटाबेस ऑप्टिमाइज़ करें
• करप्टेड डेटा हटाएँ
• डेटा आर्किटेक्चर विकसित, बनाएं, टेस्ट करें और बनाए रखें

डेटा इंजीनियर और बिग डेटा

• बिग डेटा सामान्य बन रहा है =>

डेटा इंजीनियर और बिग डेटा

• बिग डेटा सामान्य बन रहा है => डेटा इंजीनियरों की ज़रूरत बढ़ रही है
• बिग डेटा:
  • इसके आकार से निपटने पर सोचना पड़ता है
  • इतना बड़ा कि पारंपरिक तरीके काम नहीं करते

बिग डेटा ग्रोथ

• सेंसर और डिवाइस
• सोशल मीडिया
• एंटरप्राइज़ डेटा
• VoIP (वॉइस कम्युनिकेशन, मल्टीमीडिया सेशंस)

¹ Data Age 2025, Seagate, November 2018

पाँच V

• वॉल्यूम (कितना?)
• वरायटी (किस तरह का?)
• वेलॉसिटी (कितनी बार?)
• वेरासिटी (कितनी सटीक?)
• वैल्यू (कितना उपयोगी?)

सारांश

• आगे क्या होगा
• किसी संगठन में डेटा कैसे बहता है
• डेटा इंजीनियर कब हस्तक्षेप करते हैं
• उनकी ज़िम्मेदारियाँ क्या हैं
• डेटा इंजीनियरिंग का बिग डेटा से संबंध

अभ्यास करते हैं!

डेटा इंजीनियरिंग को समझना