非構造化データの処理

Snowflake アーキテクチャ

Emily Melhuish

Technical Curriculum Developer, Snowflake

テーブルを超えて

PDF、画像、音声などのファイルを含むクラウド

Snowflake アーキテクチャ

ステージ: ファイルのランディングゾーン

内部＋外部ステージを表す

  • 内部: Snowflake によって管理されています

  • 外部: クラウド上のファイル

  • 非構造化データはステージに存在する

Snowflake アーキテクチャ

ディレクトリ テーブル

directory_table_top.png

Snowflake アーキテクチャ

ディレクトリ テーブルの構文

ディレクトリを有効にする

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

ディレクトリ メタデータを更新する (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Snowflake アーキテクチャ

ディレクトリテーブル

directory_table_final.png

Snowflake アーキテクチャ

ディレクトリテーブルのクエリ実行

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • ステージ {{2}} の監査ファイル
  • 古いファイルを特定する
  • 下流プロセスに供給
Snowflake アーキテクチャ

事前署名付きURL

  • 外部パートナーとアプリケーションはステージ {{1}} にアクセスできません
  • Snowflake は、パートナーにアクセスを付与するために URL または認証情報を公開できます: ステージURL、スコープ付きファイルURL、事前署名付きURL、および関連ヘルパー

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • ステージ、ファイルパス、ライフタイム（秒）を渡します

  • Snowflake ログインを持たないパートナー向けに便利

Snowflake アーキテクチャ

練習しましょう！

Snowflake アーキテクチャ

Preparing Video For Download...