डेटा स्टोर करना

डेटाबेस डिज़ाइन

Lis Sulmont

Curriculum Manager

डेटा को स्ट्रक्चर करना

1. संरचित डेटा

एक स्कीमा का पालन करता है
परिभाषित डेटा टाइप और रिलेशनशिप्स

जैसे, SQL, रिलेशनल डेटाबेस में टेबल्स

2. असंरचित डेटा

स्कीमालेस
दुनिया के ज्यादातर डेटा का हिस्सा

जैसे, फ़ोटो, चैट लॉग्स, MP3

3. अर्द्ध-संरचित डेटा

बड़े स्कीमा का पालन नहीं करता
स्वयं-वर्णनकारी स्ट्रक्चर

जैसे, NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

डेटा को स्ट्रक्चर करना

संरचित और असंरचित डेटा के बीच स्पेक्ट्रम दिखाता डायग्राम

¹ Flower by Sam Oth and Database Diagram by Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

पारंपरिक डेटाबेस से आगे डेटा स्टोर करना

पारंपरिक डेटाबेस
- रियल-टाइम रिलेशनल संरचित डेटा स्टोर करने के लिए ⟶ OLTP
डेटा वेयरहाउस
- आर्काइव्ड संरचित डेटा का विश्लेषण करने के लिए ⟶ OLAP
डेटा लेक
- हर प्रकार का डेटा स्टोर करने के लिए = लचीलेपन और स्केलेबिलिटी
- बिग डेटा का विश्लेषण करने के लिए

डेटा वेयरहाउस

एनालिटिक्स के लिए ऑप्टिमाइज़्ड - OLAP
- पढ़ने/एग्रीगेट करने के लिए ऑर्गनाइज़्ड
- आमतौर पर रीड-ओनली
कई स्रोतों से डेटा शामिल
Massively Parallel Processing (MPP)
आमतौर पर डीनॉर्मलाइज़्ड स्कीमा और डायमेंशनल मॉडलिंग उपयोग करता है

डेटा मार्ट्स

डेटा वेयरहाउस का सबसेट
किसी विशिष्ट टॉपिक के लिए समर्पित

Amazon Redshift, Google Bog Query and Azure SQL Data Warehouse

डेटा वेयरहाउस के सबसेट के रूप में डेटा मार्ट

डेटा लेक

हर तरह का डेटा कम लागत पर स्टोर करें:
- जैसे, रॉ, ऑपरेशनल डेटाबेस, IoT डिवाइस लॉग्स, रियल-टाइम, रिलेशनल और नॉन-रिलेशनल
सारा डेटा रखता है और पेटाबाइट्स तक जा सकता है
schema-on-read, schema-on-write के विपरीत
डेटा कैटलॉग करना ज़रूरी, वरना data swamp बन जाता है
बिग डेटा एनालिटिक्स चलाएँ, जैसे Apache Spark और Hadoop सेवाओं से
- डीप लर्निंग और डेटा डिस्कवरी में उपयोगी क्योंकि बहुत सारा डेटा चाहिए

Amazon, Google और Microsoft सभी Data Lakes समाधान देते हैं

ETL

ELT

अभ्यास करते हैं!

डेटाबेस डिज़ाइन