Di dalam gudang Redshift

Pengantar Redshift

Jason Myers

Principal Architect

Agenda

Internal klaster Redshift
- Jenis node
- Fungsi khusus leader
- Penyimpanan klaster Redshift
Predikat
Redshift Spectrum
- Komponen basis data
- Tabel eksternal

Arsitektur klaster Redshift

Leader Node

Menyediakan koneksi
Membangun dan mendistribusikan rencana eksekusi kueri
Dapat mengeksekusi kueri penuh
Memiliki fungsi eksklusif

Compute Node

Menyediakan penyimpanan data
Menjalankan kode dari leader pada data lokal

Komponen Klaster Redshift

Fungsi khusus leader

Hanya berjalan di leader

-- Memilih substr, mulai pada 
-- posisi 11 dari 'chocolate chip'
SELECT SUBSTR('chocolate chip', 11);

chip

Gunakan SUBSTRING sebagai default
Daftar fungsi khusus leader di dokumentasi AWS Redshift

SUBSTR error pada kolom tabel

-- Memilih substr dari posisi 1
-- kolom bernama field pada tabel
SELECT SUBSTR(field, 1) FROM table;

ERROR: SUBSTR() function is not 
supported (Hint: use SUBSTRING 
instead)

Melihat data antar node

SELECT host, 
       -- Calculate the percentage of used space
       -- using the used minus tossed or ready to be reclaimed
       -- divided by the capacity
       (used - tossed) / capacity * 100 as percent_used 
  FROM STV_PARTITIONS;

 host |  percent_used
======+==============
  0   |  24.9
  1   |  24.8

Predikat

SELECT table_A.columnX,
       table_B.columnY,
  FROM table_A
       INNER JOIN table_B 
          -- predicate
       ON table_B.foreign_key = table_A.primary_key 
       -- predicate
 WHERE table_B.columnZ = 'value';

Biasanya berupa ekspresi boolean dan ada di klausa SQL WHERE, HAVING, atau ON

Predicate push-down

PushDown

Komponen internal basis data umum

Komponen Basis Data

Katalog Metadata

Menyimpan info skema (kolom, kunci, dll.)
Merujuk lokasi penyimpanan

Mesin Kueri

Merencanakan dan mengeksekusi kueri
Menyediakan koneksi

Penyimpanan

Menyimpan data tabel
Mendukung banyak format file dan tabel

Arsitektur Redshift Spectrum

AWS Glue Data Catalog

Menyimpan informasi tentang tabel "eksternal"

AWS S3 Bucket

Menyimpan file yang merepresentasikan tabel
Mendukung CSV, JSON, Teks, Parquet, dan banyak tipe file lain

Arsitektur Redshift Spectrum

Ayo berlatih!

Pengantar Redshift