SnowpipeとSnowpipe Streaming

Snowflakeにおけるデータパイプラインの自動化

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowpipe

ユースケース：

配送イベントが継続的に到着する

解決策：Snowpipe

Snowpipeはステージにファイルが到着次第、データをロードします。

Screenshot 2026-05-11 at 12.24.14 pm.png

¹ * Snowflake Learning Material

バッチロードの問題点

日中、数分ごとにS3へファイルが到着
深夜0時にCOPY INTOを実行 — 最大24時間の遅延
遅延した出荷情報は翌日まで反映されない
Snowpipeがこのギャップを解消

-- Nightly batch: runs at 00:00, data arrives all day
COPY INTO logistics.delivery_events
FROM @harbr_s3_stage/events/
FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');
-- A 9am exception won't appear until tomorrow

Snowpipeとは？

COPY INTO文をラップ — 同じ構文・ファイル形式
ステージに新しいファイルが到着すると自動でトリガー
マイクロバッチで処理、通常数分以内にロード
サーバーレス — ウェアハウスの構成不要

CREATE PIPE harbr_events_pipe AS
  COPY INTO logistics.delivery_events
  FROM @harbr_s3_stage/events/
  FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');

Snowpipeの仕組み

Snowpipeのワークフロー

AUTO_INGEST — イベント駆動；クラウドストレージが通知を発行
Amazon S3 | Azure Event Grid | GCP Pub/Sub
REST APIトリガー — オーケストレーションコードからinsertFilesまたはinsertReportエンドポイントを直接呼び出し

Snowpipeの料金体系

Screenshot 2026-05-11 at 12.24.14 pm.png

消費GB単位の固定クレジット数で課金
テキストファイル：非圧縮サイズで課金
バイナリファイル：実測サイズで課金

Snowpipe Streaming

	Snowpipe	Snowpipe Streaming
トリガー	ファイルがステージに到着	アプリケーションが行を書き込む
レイテンシ	分単位	秒単位
ユースケース	ファイルベースのイベント	GPS・IoT・リアルタイムデータ

ファイルの境界を完全に排除

Streaming Ingest SDK経由でアプリから直接行を書き込む
ファイル・ステージ不要 — レイテンシは秒単位

# Snowpipe Streaming: application writes rows directly
channel = client.openChannel('GPS_CHANNEL', 'LOGISTICS', 'GPS_EVENTS')
channel.insertRows(rows=[
    {'vehicle_id': 'V001', 'lat': 51.5, 'lng': -0.12, 'ts': now()}
])

適切な取り込み方法の選択

取り込み方法

方法	適切なタイミング
COPY INTO	定期バッチ — 夜間ファイル、週次エクスポート、数時間のレイテンシが許容できる場合
Snowpipe	ファイルの継続的な到着、到着後数分以内のロードが必要な場合
Snowpipe Streaming	アプリ生成データ — GPS・IoT・金融市場 — 秒単位でデータが必要な場合

¹ * Snowflake Learning Resource

Let's practice!

Snowflakeにおけるデータパイプラインの自動化