處理非結構化資料

Snowflake 架構

Emily Melhuish

Technical Curriculum Developer, Snowflake

超越資料表

雲端內含 pdf、影像與音訊等檔案

Snowflake 架構

Stages：檔案登陸區

呈現內部與外部 stage

  • Internal：由 Snowflake 管理

  • External：雲端中的檔案

  • 非結構化資料儲存在 stage 中

Snowflake 架構

Directory Tables

directory_table_top.png

Snowflake 架構

Directory Tables 語法

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

重新整理目錄中繼資料（ALTER STAGE）

ALTER STAGE snowy_peak_files_stage REFRESH;
Snowflake 架構

Directory Tables

directory_table_final.png

Snowflake 架構

查詢 Directory Table

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • 稽核 stage 中的檔案
  • 找出久未更新的檔案
  • 供後續流程使用
Snowflake 架構

Pre-signed URL

  • 外部夥伴與應用無法直接存取 stage
  • Snowflake 可提供 URL 或憑證授權：Stage URL、scoped file URL、pre-signed URL 與相關工具

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • 你需傳入 stage、檔案路徑與存活時間（秒）

  • 適用於沒有 Snowflake 登入的夥伴

Snowflake 架構

一起來練習吧！

Snowflake 架構

Preparing Video For Download...