加载结构化与半结构化数据

Snowflake 架构

Emily Melhuish

Technical Curriculum Developer, Snowflake

加载流程

加载流程:文件进入阶段区,然后加载到 Snowflake

  • 文件放入阶段区后,执行 COPY INTO 加载
Snowflake 架构

什么是 Stage?

Stage = 临时存储位置

Snowflake 的 Stage 示意图

创建内部 Stage

CREATE STAGE snowy_peak_stage;

创建外部 Stage

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';
Snowflake 架构

将数据加载到 Snowflake

COPY INTO

  • 从 Stage 批量加载
  • 支持结构化与半结构化数据
  • 可扩展

INSERT

  • 适合少量行且不经阶段区
  • 一次性新增或小改动

Snowsight UI

  • 适合非技术用户与快速一次性工作
Snowflake 架构

用 LIST 检查 Stage

snowflake_list_stage.png

Snowflake 架构

使用 COPY INTO 加载结构化数据

查询

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);
Snowflake 架构

加载与查询半结构化数据

加载

JSON 会加载到 Snowflake 的特殊列类型 VARIANT 中。

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

查询

使用冒号表示法遍历 JSON 结构。

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;
Snowflake 架构

使用界面加载

Snowflake 界面截图

Snowflake 架构

让我们练习吧!

Snowflake 架构

Preparing Video For Download...