处理非结构化数据

Snowflake 架构

Emily Melhuish

Technical Curriculum Developer, Snowflake

超越表格

包含 PDF、图像和音频等文件的云

Snowflake 架构

阶段:文件落地区

表示内部与外部阶段

  • 内部:由 Snowflake 管理
  • 外部:云端文件

  • 非结构化数据存放于阶段

Snowflake 架构

目录表

directory_table_top.png

Snowflake 架构

目录表语法

启用 DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

刷新目录元数据(ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Snowflake 架构

目录表

目录表最终版

Snowflake 架构

查询目录表

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • 审核阶段中的文件
  • 识别过期文件
  • 供下游流程使用
Snowflake 架构

预签名 URL

  • 外部合作方和应用无法直接访问阶段
  • Snowflake 可通过 URL 或凭据授予访问:阶段 URL、作用域文件 URL、预签名 URL 及相关助手

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);
  • 传入阶段、文件路径和有效期(秒)

  • 适用于无 Snowflake 登录的合作方

Snowflake 架构

Passons à la pratique !

Snowflake 架构

Preparing Video For Download...