डेटा प्रोसेसिंग

डेटा इंजीनियरिंग को समझना

Hadrien Lacroix

Content Developer at DataCamp

डेटा पाइपलाइन

डेटा इंजीनियरिंग को समझना

डेटा लेक में डेटा ले जाना

डेटा इंजीनियरिंग को समझना

डेटा लेक में डेटा ले जाना

डेटा इंजीनियरिंग को समझना

करप्टेड डेटा की जाँच

डेटा इंजीनियरिंग को समझना

एक सामान्य परिभाषा

  • डेटा प्रोसेसिंग: raw डेटा को meaningful सूचना में बदलना
डेटा इंजीनियरिंग को समझना

डेटा प्रोसेसिंग का मूल्य

सैद्धांतिक रूप से

  • अनचाहा डेटा हटाएँ
  • मेमोरी, प्रोसेस और नेटवर्क लागत ऑप्टिमाइज़ करें
  • डेटा को एक टाइप से दूसरे में बदलें

Spotflix में

  • टेस्टिंग फीचर डेटा की लंबी अवधि में जरूरत नहीं
  • इतने बड़े फाइल स्टोर और स्ट्रीम करने का खर्च नहीं उठा सकते
डेटा इंजीनियरिंग को समझना

डेटा पाइपलाइन

डेटा इंजीनियरिंग को समझना

डेटा पाइपलाइन

डेटा इंजीनियरिंग को समझना

डेटा पाइपलाइन

डेटा इंजीनियरिंग को समझना

डेटा प्रोसेसिंग का मूल्य

सैद्धांतिक रूप से

  • अनचाहा डेटा हटाएँ
  • मेमोरी बचाने के लिए
  • डेटा को एक टाइप से दूसरे में बदलें
  • डेटा को व्यवस्थित करें
  • स्कीमा/स्ट्रक्चर के अनुरूप करें
  • उत्पादकता बढ़ाएँ

Spotflix में

  • lossless फॉर्मेट की जरूरत नहीं
  • इतने बड़े फाइल स्टोर करना मुमकिन नहीं
  • गानों को .flac से .ogg में बदलें
  • डेटा लेक से डेटा वेयरहाउस तक डेटा को रीऑर्गनाइज़ करें
  • Employee टेबल उदाहरण
  • डेटा साइंटिस्ट्स को सक्षम करें
डेटा इंजीनियरिंग को समझना

डेटा इंजीनियर्स डेटा कैसे प्रोसेस करते हैं

  • डेटा मैनिपुलेशन, क्लीनिंग और टाइडिंग टास्क्स
    • जिन्हें ऑटोमेट किया जा सकता है
    • जिन्हें हमेशा करना होगा
  • डेटा को समझदार स्ट्रक्चर वाली डेटाबेस में स्टोर करें
  • डेटाबेस टेबल्स के ऊपर व्यू बनाएँ
  • डेटाबेस का परफॉर्मेंस ऑप्टिमाइज़ करें
  • करप्ट सॉन्ग फाइल्स रिजेक्ट करना
  • missing मेटाडेटा पर क्या करें, तय करना
  • आर्टिस्ट्स और एल्बम्स के लिए अलग टेबल्स...
  • ...पर उन्हें जोड़ने वाला व्यू दें
  • इंडेक्सिंग
डेटा इंजीनियरिंग को समझना

1 Batch और stream के बीच का अंतर अगला पाठ समझाएगा!
डेटा इंजीनियरिंग को समझना

Apache Spark लोगो

डेटा इंजीनियरिंग को समझना

सारांश

  • डेटा प्रोसेसिंग क्या है
  • यह क्यों ज़रूरी है
  • इसमें क्या-क्या शामिल है
  • Spotflix में हम डेटा कैसे प्रोसेस करते हैं
डेटा इंजीनियरिंग को समझना

अभ्यास करते हैं!

डेटा इंजीनियरिंग को समझना

Preparing Video For Download...