आधुनिक डेटा आर्किटेक्चर के उदाहरण

Understanding Modern Data Architecture

Miller Trujillo

Senior Software Engineer

Lambda आर्किटेक्चर

• डेटा प्रोसेसिंग आर्किटेक्चर
• बड़े पैमाने के डेटासेट प्रोसेस करने में सक्षम
• रियल-टाइम डेटा प्रोसेसिंग सक्षम
• बैच और स्ट्रीमिंग का संयोजन
• 3 मुख्य लेयर:
  • बैच लेयर
  • स्पीड लेयर
  • सर्विंग लेयर

Lambda आर्किटेक्चर लेयर: बैच

• मास्टर डेटासेट
  • अपरिवर्तनीय डेटा
  • केवल जोड़ें (append-only)
• पूर्व-गणित व्यूज़
• बैंक खाते
  • मास्टर डेटासेट: ट्रांज़ैक्शन की सूची
  • व्यूज़: बैलेंस पाने के लिए ट्रांज़ैक्शन लागू
• पूर्ण सटीकता

Lambda आर्किटेक्चर लेयर: स्पीड

• निर्धारित शेड्यूल पर बैच जॉब्स
• ज्ञात डेटा और वास्तविकता के बीच गैप
• स्पीड लेयर यह गैप घटाती है
• पूर्ण सटीकता नहीं

Lambda आर्किटेक्चर लेयर: सर्विंग

• बैच और रियल-टाइम व्यूज़ को मर्ज करें
• डेटा का एकीकृत व्यू

Lambda आर्किटेक्चर की जटिलता

• दो लेयर जटिलता बढ़ाती हैं
• लॉजिक, कोड, एल्गोरिदम की डुप्लिकेशन
• मल्टीपल स्टैक: बैच और स्ट्रीमिंग

Kappa आर्किटेक्चर

Lambda बनाम Kappa

पहलू	Lambda आर्किटेक्चर	Kappa आर्किटेक्चर
बैच प्रोसेसिंग	मौजूद	इवेंट सोर्स को फिर से प्रोसेस करके
स्ट्रीम प्रोसेसिंग	मौजूद	मौजूद
जटिलता	अधिक	कम
रियल-टाइम प्रोसेसिंग	बैच लेयर के कारण विलंबित	सीधा और सुव्यवस्थित
उपयोग मामले	जटिल विश्लेषण, ऐतिहासिक डेटा	रियल-टाइम एनालिटिक्स, रियल-टाइम मॉनिटरिंग

अभ्यास करते हैं!

Understanding Modern Data Architecture