Redshift वेयरहाउस के अंदर

Redshift परिचय

Jason Myers

Principal Architect

एजेंडा

Redshift क्लस्टर के आंतरिक भाग
- नोड प्रकार
- लीडर-विशिष्ट फंक्शन
- Redshift क्लस्टर स्टोरेज
प्रेडिकेट्स
Redshift Spectrum
- डेटाबेस कॉम्पोनेंट्स
- एक्सटर्नल टेबल्स

Redshift क्लस्टर आर्किटेक्चर

Leader Node

कनेक्शन प्रदान करता है
क्वेरी एग्ज़ीक्यूशन प्लान बनाता और वितरित करता है
पूरी क्वेरी चला सकता है
एक्सक्लूसिव फंक्शन होते हैं

Compute Node

डेटा स्टोरेज प्रदान करता है
लोकल स्टोर किए डेटा पर लीडर नोड से आया कोड चलाता है

Redshift क्लस्टर

लीडर-विशिष्ट फंक्शन

केवल लीडर पर चलें

-- 'chocolate chip' में पोज़िशन 11 से substr चुनना
SELECT SUBSTR('chocolate chip', 11);


chip

डिफ़ॉल्ट रूप से SUBSTRING का उपयोग करें

लीडर-विशिष्ट फंक्शनों की सूची AWS Redshift documentation में है

SUBSTR टेबल कॉलम पर एरर देता है

-- टेबल की कॉलम 'field' में पोज़िशन 1 से substr चुनना
SELECT SUBSTR(field, 1) FROM table;


ERROR: SUBSTR() function is not 
supported (Hint: use SUBSTRING 
instead)

नोड्स के पार डेटा देखना

SELECT host, 
       -- प्रयुक्त स्पेस का प्रतिशत निकालें
       -- used में से tossed (या reclaim होने वाला) घटाकर
       -- capacity से भाग देकर
       (used - tossed) / capacity * 100 as percent_used 
  FROM STV_PARTITIONS;

 host |  percent_used
======+==============
  0   |  24.9
  1   |  24.8

प्रेडिकेट्स

SELECT table_A.columnX,
       table_B.columnY,
  FROM table_A
       INNER JOIN table_B 
          -- predicate
       ON table_B.foreign_key = table_A.primary_key 
       -- predicate
 WHERE table_B.columnZ = 'value';

आमतौर पर boolean expressions; WHERE, HAVING या ON क्लॉज़ में मिलते हैं

प्रेडिकेट पुश-डाउन

पुश-डाउन

टिपिकल आंतरिक डेटाबेस कॉम्पोनेंट्स

डेटाबेस कॉम्पोनेंट्स

MetaData Catalog

स्कीमा जानकारी रखता है (columns, keys, आदि)
स्टोरेज लोकेशन को रेफरेंस करता है

Query Engine

क्वेरी प्लान करता और चलाता है
कनेक्शन प्रदान करता है

Storage

टेबल डेटा रखता है
कई फाइल और टेबल फॉर्मैट सपोर्ट करता है

Redshift Spectrum आर्किटेक्चर

AWS Glue Data Catalog

"external" टेबल्स की जानकारी स्टोर करता है

AWS S3 Bucket

टेबल को दर्शाने वाली फाइलें स्टोर करता है
CSVs, JSON, Text, Parquet और कई अन्य फाइल टाइप सपोर्ट करता है

Redshift Spectrum आर्किटेक्चर

अभ्यास करते हैं!

Redshift परिचय