À l'intérieur de l'entrepôt Redshift

Introduction à Redshift

Jason Myers

Principal Architect

Ordre du jour

Interne d'un grappe Redshift
- Types de nœuds
- Fonctions propres au nœud chef
- Stockage de la grappe Redshift
Prédicats
Redshift Spectrum
- Composants de base de données
- Tables externes

Architecture d'une grappe Redshift

Nœud chef (Leader Node)

Fournit les connexions
Construit et distribue les plans d'exécution
Peut exécuter des requêtes complètes
Offre des fonctions exclusives

Nœud de calcul (Compute Node)

Assure le stockage des données
Exécute, sur ses données locales, le code du nœud chef

Grappe Redshift

Fonctions propres au nœud chef

S'exécutent uniquement sur le nœud chef

-- Sélection du substr à partir de
-- la position 11 de 'chocolate chip'
SELECT SUBSTR('chocolate chip', 11);

chip

Utiliser par défaut SUBSTRING
Liste des fonctions propres au nœud chef dans la documentation AWS Redshift

SUBSTR génère des erreurs sur les colonnes de table

-- Sélection du substr à partir de la position 1
-- de la colonne nommée field dans la table
SELECT SUBSTR(field, 1) FROM table;

ERROR: SUBSTR() function is not 
supported (Hint: use SUBSTRING 
instead)

Voir les données entre nœuds

SELECT host, 
       -- Calculer le pourcentage d'espace utilisé
       -- avec used moins tossed (ou récupérable)
       -- divisé par capacity
       (used - tossed) / capacity * 100 as percent_used 
  FROM STV_PARTITIONS;

 host |  percent_used
======+==============
  0   |  24.9
  1   |  24.8

Prédicats

SELECT table_A.columnX,
       table_B.columnY,
  FROM table_A
       INNER JOIN table_B 
          -- prédicat
       ON table_B.foreign_key = table_A.primary_key 
       -- prédicat
 WHERE table_B.columnZ = 'value';

Généralement des expressions booléennes, dans les clauses SQL WHERE, HAVING ou ON

Propagation des prédicats

Composants internes typiques d'une base de données

Composants de base de données

Catalogue des métadonnées

Contient le schéma (colonnes, clés, etc.)
Référence un emplacement de stockage

Moteur de requêtes

Planifie et exécute les requêtes
Fournit les connexions

Stockage

Contient les données de table
Prend en charge plusieurs formats de fichiers et de tables

Architecture de Redshift Spectrum

AWS Glue Data Catalog

Stocke l'information sur les tables « externes »

Seau AWS S3 (Bucket)

Stocke les fichiers qui représentent la table
Prend en charge CSV, JSON, texte, Parquet et bien d'autres formats

Architecture de Redshift Spectrum

Passons à la pratique !

Introduction à Redshift