आधुनिक डेटा आर्किटेक्चर सॉल्यूशंस का मूल्यांकन

Understanding Modern Data Architecture

Miller Trujillo

Senior Software Engineer

Ingestion

इंजेशन हाइलाइट के साथ प्रस्तावित समाधान

  • अनपेक्षित पैटर्न
  • क्या हम डेटा pull करें?
    • फाइलें expose करें
    • नेटवर्क फाइल सिस्टम
Understanding Modern Data Architecture

Storage

स्टोरेज हाइलाइट के साथ प्रस्तावित समाधान

  • क्लाउड स्टोरेज:

    • डेटा वेयरहाउस या डेटाबेस से सस्ता
    • लचीला है, और ज़रूरी APIs expose करता है

  • BigQuery अभी भी विकल्प?

    • किफायती
    • लोडिंग सीमाओं के कारण व्यावहारिक नहीं

  • कॉस्ट और घटाने के लिए life-cycle policies

Understanding Modern Data Architecture

Processing

स्ट्रीमिंग प्रोसेसिंग हाइलाइट के साथ प्रस्तावित समाधान

  • Dataflow, Dataproc (Spark), या Data Fusion
  • आगमन पैटर्न अनपेक्षित
  • आते ही डेटा प्रोसेस करें
  • सादगी
  • अस्थायी डेटा
  • life-cycle policies से क्लीनिंग ऑटोमेट करें
  • स्कीमा मेंटेनेंस की ज़रूरत नहीं
Understanding Modern Data Architecture

Processing: मॉडल स्कोर

बैच प्रोसेसिंग हाइलाइट के साथ प्रस्तावित समाधान

  • सब कुछ ट्रैक करना जटिल
  • मेंटेन करना आसान
  • पिछला जॉब NoSQL DB में लिख सकता है, यह जॉब डेटा पूरक करे
Understanding Modern Data Architecture

डेटा सर्व करना

बैच प्रोसेसिंग हाइलाइट के साथ प्रस्तावित समाधान

  • विश्लेषण के लिए BigQuery
  • NoSQL DB => स्केलेबिलिटी और लचीलेपन में आसान
Understanding Modern Data Architecture

कुछ अन्य विवरण

  • गवर्नेंस, ऑर्केस्ट्रेशन, सिक्योरिटी, आदि
  • प्लेटफ़ॉर्म और आवश्यकताओं को और परिष्कृत करें
  • बेहतर प्रबंधन सक्षम करें
  • एक ही समाधान सब पर फिट नहीं होता!

सब कुछ trade-offs पर निर्भर है

Understanding Modern Data Architecture

अभ्यास करते हैं!

Understanding Modern Data Architecture

Preparing Video For Download...