डेटा प्रोसेसिंग

Understanding Modern Data Architecture

Miller Trujillo

Senior Software Engineer

डेटा प्रोसेसिंग क्या है?

• एक्सप्लोरेशन
• डेटा क्वालिटी: चेक्स और ट्रांसफॉर्मेशंस
• एनालिसिस
• एग्रीगेशंस
• ट्रांसफॉर्मेशंस

बैच प्रोसेसिंग

• बैच और स्ट्रीमिंग
• फिक्स्ड मात्रा का डेटा

स्ट्रीमिंग प्रोसेसिंग

फिक्स्ड टाइम विंडो

स्लाइडिंग टाइम विंडो

¹ https://beam.apache.org/documentation/programming-guide/#windowing

स्ट्रीमिंग प्रोसेसिंग कॉन्सेप्ट्स

• डेटा कब जेनरेट हुआ
• डेटा कब पहुँचा
• वॉटरमार्क्स
• लेट डेटा
• नई प्रोसेसिंग ट्रिगर करें

प्रोसेसिंग टेक्नोलॉजीज़

यूज़ केस	सोल्यूशन	क्लाउड सोल्यूशन
बैच/स्ट्रीमिंग, बिग डेटा, क्लस्टर	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
बैच/स्ट्रीमिंग, बिग डेटा, सर्वरलेस (प्रोवाइडर सर्वर पूरी तरह मैनेज करता है)	Apache Spark, Beam	AWS Glue, Google Dataflow
इंडिविजुअल इवेंट्स, सिंपल प्रोसेसिंग, बिना सर्वर चलाए 24/7 सपोर्ट	जनरल प्रोग्रामिंग लैंग्वेज: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

अभ्यास करते हैं!

Understanding Modern Data Architecture