डेटा Ingestion

Understanding Modern Data Architecture

Miller Trujillo

Senior Software Engineer

डेटा ingestion क्या है?

• Functional आवश्यकताएँ
• Analytics, functional को प्रभावित कर सकता है

Batch ingestion

• शेड्यूल कर के समय-समय पर डेटा लें
• Analytics के लिए हमारे प्लेटफ़ॉर्म में कॉपी करें
• सारा डेटा पढ़ें बनाम केवल नया पढ़ें
• बड़े डेटासेट में आंशिक पढ़ना ज़रूरी
• छोटे डेटासेट ओवरराइट हो सकते हैं

Batch ingestion: केवल बदलाव लाएँ

• अनंत संसाधन असंभव हैं
• केवल बदला हुआ ही ingest करें
• timestamp या फ़्लैग से अपडेट ट्रैक करें
• डेटा की नवीनतम अवस्था रखें
• deletion के लिए फ़्लैग या consolidation चाहिए

Streaming ingestion

• Push मॉडल
• इवेंट क्यूज़
• 24/7 compute
• लैंडिंग ज़ोन

अभ्यास करते हैं!

Understanding Modern Data Architecture