Memuat Data Terstruktur dan Semi-terstruktur

Arsitektur Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Alur Pemuatan

Alur pemuatan menampilkan file masuk ke stage lalu dimuat ke Snowflake

File berada di stage, jalankan COPY INTO untuk memuatnya

Apa itu Stage?

Stage = lokasi penyimpanan sementara

Diagram Stage dari Snowflake

Buat Stage Internal

CREATE STAGE snowy_peak_stage;

Buat Stage Eksternal

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';

Memuat data ke Snowflake

COPY INTO

Pemuatan massal dari Stage
Data Terstruktur dan Semi-terstruktur
Skala tinggi

INSERT

Cocok untuk sedikit baris tanpa staging
Penambahan sekali jalan atau perubahan kecil

Snowsight UI

Untuk pengguna non-teknis dan pekerjaan cepat sekali jalan

Memeriksa Stage dengan LIST

Memuat Data Terstruktur dengan COPY INTO

Kueri

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);

Memuat dan Mengkueri Data Semi-terstruktur

Memuat

JSON dimuat ke tipe kolom khusus Snowflake bernama VARIANT.

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

Kueri

Gunakan notasi tanda titik dua untuk menavigasi struktur JSON,

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;

Memuat dengan UI

Tangkapan layar UI Snowflake

Ayo berlatih!

Arsitektur Snowflake