Uvnitř skladu Redshift

Introduction to Redshift

Jason Myers

Principal Architect

Program

Vnitřní struktura clusteru Redshift
- Typy uzlů
- Funkce specifické pro leader uzel
- Úložiště clusteru Redshift
Predikáty
Redshift Spectrum
- Komponenty databáze
- Externí tabulky

Architektura clusteru Redshift

Leader uzel

Poskytuje připojení
Sestavuje a distribuuje plány provádění dotazů
Může provádět celé dotazy
Má exkluzivní funkce

Výpočetní uzel

Poskytuje datové úložiště
Spouští kód od leader uzlu na lokálně uložených datech

Cluster Redshift

Funkce specifické pro leader uzel

Spouštějí se pouze na leader uzlu

-- Selecting the substr, starting at 
-- position 11 of 'chocolate chip'
SELECT SUBSTR('chocolate chip', 11);

chip

Preferujte použití SUBSTRING
Seznam funkcí pro leader uzel najdete v dokumentaci AWS Redshift

SUBSTR vyvolá chybu na sloupcích tabulky

-- Selecting the substr from position 1
-- of the column named field on table
SELECT SUBSTR(field, 1) FROM table;

ERROR: SUBSTR() function is not 
supported (Hint: use SUBSTRING 
instead)

Zobrazení dat napříč uzly

SELECT host, 
       -- Calculate the percentage of used space
       -- using the used minus tossed or ready to be reclaimed
       -- divided by the capacity
       (used - tossed) / capacity * 100 as percent_used 
  FROM STV_PARTITIONS;

 host |  percent_used
======+==============
  0   |  24.9
  1   |  24.8

Predikáty

SELECT table_A.columnX,
       table_B.columnY,
  FROM table_A
       INNER JOIN table_B 
          -- predicate
       ON table_B.foreign_key = table_A.primary_key 
       -- predicate
 WHERE table_B.columnZ = 'value';

Zpravidla booleovské výrazy v klauzulích WHERE, HAVING nebo ON

Predikátové přesunutí dolů (push-down)

Predikátové přesunutí dolů

Typické interní komponenty databáze

Komponenty databáze

Katalog metadat

Uchovává informace o schématu (sloupce, klíče atd.)
Odkazuje na umístění v úložišti

Dotazovací engine

Plánuje a spouští dotazy
Poskytuje připojení

Úložiště

Uchovává data tabulek
Podporuje různé formáty souborů a tabulek

Architektura Redshift Spectrum

AWS Glue Data Catalog

Uchovává informace o „externích" tabulkách

AWS S3 Bucket

Uchovává soubory reprezentující tabulku
Podporuje CSV, JSON, Text, Parquet a další formáty

Architektura Redshift Spectrum

Pojďme si procvičit!

Introduction to Redshift