Tải dữ liệu có cấu trúc và bán cấu trúc

Kiến trúc Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Quy trình tải

Quy trình tải: tệp vào stage rồi nạp vào Snowflake

Tệp vào stage, chạy COPY INTO để nạp

Stage là gì?

Stage = vị trí lưu trữ tạm thời

Sơ đồ Stage của Snowflake

Tạo Internal Stage

CREATE STAGE snowy_peak_stage;

Tạo External Stage

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';

Tải dữ liệu vào Snowflake

COPY INTO

Nạp hàng loạt từ Stage
Dữ liệu có cấu trúc và bán cấu trúc
Khả năng mở rộng cao

INSERT

Phù hợp vài dòng, không cần staging
Bổ sung lẻ hoặc chỉnh nhỏ

Snowsight UI

Cho người không kỹ thuật và tác vụ lẻ nhanh

Kiểm tra Stage với LIST

Tải dữ liệu có cấu trúc với COPY INTO

Truy vấn

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);

Tải và truy vấn dữ liệu bán cấu trúc

Tải

JSON được nạp vào kiểu cột đặc biệt của Snowflake gọi là VARIANT.

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

Truy vấn

Dùng ký hiệu dấu hai chấm để duyệt cấu trúc JSON,

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;

Tải bằng giao diện UI

Ảnh chụp giao diện Snowflake

Luyện tập nào!

Kiến trúc Snowflake