डेटा पाइपलाइन्स

DevOps अवधारणा

Cem Sakarya

DevOps Risk Advisor

डेटा पाइपलाइन्स

माइक्रोसर्विसेज़ एक-दूसरे से APIs के जरिए बात करती हैं। साथ ही वे डेटा पाइपलाइन्स के माध्यम से स्वतंत्र डेटाबेस से इंटरैक्ट करती हैं। डेटा पाइपलाइन्स हाइलाइटेड हैं.

ETL

Extract; Transform; Load

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

बैच प्रोसेसिंग

बैच प्रोसेसिंग डेटा पाइपलाइन माइक्रोसर्विस से डेटा लेकर उस पर ऑपरेशन्स करती है और उसे स्वतंत्र डेटाबेस में लोड करती है.

ऑफ़लाइन डेटा को बैचों में मूव करें
बैच प्रोसेसिंग: बड़े पैमाने का डेटा

कई यूज़र एक ही समय पर बैकएंड से कनेक्ट होते हैं.

इंजेशन API यूज़र कनेक्शंस को बैकएंड में इन्गेस्ट करती है.

स्ट्रीमिंग डेटा पाइपलाइन के जरिए यूज़र कनेक्शंस अलग-अलग माइक्रोसर्विसेज़ तक रूट होते हैं.

रिकैप

डेटा इंजीनियरिंग, इन्फ्रास्ट्रक्चर इंजीनियरिंग का अहम हिस्सा है
डेटा पाइपलाइन्स, डेटा संभालने के लिए मज़बूत टूल हैं
बैच प्रोसेसिंग तय शेड्यूल पर, स्ट्रीम प्रोसेसिंग लगातार चलती है
बैच प्रोसेसिंग संचित डेटा के लिए उपयोगी है
स्ट्रीम प्रोसेसिंग रियल-टाइम डेटा संभालती है

अभ्यास करते हैं!

DevOps अवधारणा