構造化データと半構造化データの読み込み

Snowflake アーキテクチャ

Emily Melhuish

Technical Curriculum Developer, Snowflake

読み込みワークフロー

ワークフローの読み込み。ファイルがステージに入り、Snowflake に読み込まれる様子

ファイルはステージに配置され、COPY INTO を実行して {{1}} に読み込みます

ステージとは何か？

ステージ = 一時的な保存場所

Snowflake のステージ図とは

内部ステージを作成

CREATE STAGE snowy_peak_stage;

外部ステージを作成

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://snowy-peak-data/raw/';

Snowflake にデータを読み込む

INTOをコピー

ステージからの一括読み込み
構造化データと半構造化データ
拡張性

INSERT

少数の行をステージングせずに処理するのに最適
一時的な追加または軽微な変更

Snowsight UI

非技術ユーザーと単発のワークロード

LISTを使用してステージを検査する

COPY を使用して構造化データを読み込む INTO

クエリ

CREATE OR REPLACE FILE FORMAT csv_format
  TYPE = CSV
  SKIP_HEADER = 1;

COPY INTO orders
FROM @snowy_peak_stage/orders.csv
FILE_FORMAT = (FORMAT_NAME = csv_format);

半構造化データの読み込みとクエリ実行

読み込み中

JSONは、VARIANTと呼ばれる特別なSnowflake列型に読み込まれます。

CREATE TABLE events (raw_event VARIANT);

COPY INTO events
FROM @snowy_peak_stage/events.json
FILE_FORMAT = (TYPE = JSON);

クエリの作成

JSON構造をナビゲートするにはコロン表記を使用します、

SELECT 
raw_event:user_id::STRING AS user_id,
raw_event:event_type::STRING 
AS event_type
FROM events;

UI とともに読み込み中

Snowflake UIのスクリーンショット

練習しましょう！

Snowflake アーキテクチャ