Snowpipe와 Snowpipe Streaming

Snowflake 데이터 파이프라인 자동화

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowpipe

활용 사례:

배송 이벤트가 지속적으로 도착

해결 방법: Snowpipe

Snowpipe는 스테이지에 파일이 도착하는 즉시 데이터를 로드합니다.

Screenshot 2026-05-11 at 12.24.14 pm.png

¹ * Snowflake Learning Material

배치 로딩의 문제점

파일이 하루 종일 S3에 수 분 간격으로 도착
자정에 실행되는 COPY INTO — 24시간 지연
지연된 배송은 다음 날까지 표시되지 않음
Snowpipe로 이 격차 해소

-- Nightly batch: runs at 00:00, data arrives all day
COPY INTO logistics.delivery_events
FROM @harbr_s3_stage/events/
FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');
-- A 9am exception won't appear until tomorrow

Snowpipe란?

COPY INTO 문 래핑 — 동일한 구문 및 파일 형식
스테이지에 새 파일 도착 시 자동 트리거
마이크로 배치 로드, 일반적으로 수 분 내 완료
서버리스 — 웨어하우스 프로비저닝 불필요

CREATE PIPE harbr_events_pipe AS
  COPY INTO logistics.delivery_events
  FROM @harbr_s3_stage/events/
  FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');

Snowpipe 작동 방식

Snowpipe 워크플로

AUTO_INGEST — 이벤트 기반; 클라우드 스토리지가 알림 게시
Amazon S3 | Azure Event Grid | GCP Pub/Sub
REST API 트리거 — 오케스트레이션 코드에서 insertFiles 또는 insertReport 엔드포인트 직접 호출

Snowpipe 청구

Screenshot 2026-05-11 at 12.24.14 pm.png

소비된 GB당 고정 크레딧으로 청구
텍스트 파일: 비압축 크기 기준 청구
바이너리 파일: 실제 크기 기준 청구

Snowpipe Streaming

	Snowpipe	Snowpipe Streaming
트리거	스테이지에 파일 도착	애플리케이션에서 행 작성
지연	분 단위	초 단위
활용 사례	파일 기반 이벤트 피드	GPS, IoT, 실시간 앱 데이터

파일 경계를 완전히 제거

Streaming Ingest SDK를 통해 애플리케이션에서 직접 행 작성
파일·스테이지 불필요 — 초 단위 지연

# Snowpipe Streaming: application writes rows directly
channel = client.openChannel('GPS_CHANNEL', 'LOGISTICS', 'GPS_EVENTS')
channel.insertRows(rows=[
    {'vehicle_id': 'V001', 'lat': 51.5, 'lng': -0.12, 'ts': now()}
])

적절한 수집 방법 선택

수집 방법

방법	사용 시기
COPY INTO	정기 배치 로드 - 야간 파일, 주간 내보내기, 시간 단위 지연 허용 시
Snowpipe	파일이 지속적으로 도착하고, 도착 후 수 분 내 로드가 필요할 때
Snowpipe Streaming	애플리케이션 생성 데이터 - GPS, IoT, 금융 시장 - 초 단위 데이터 제공

¹ * Snowflake Learning Resource

연습해 봅시다!

Snowflake 데이터 파이프라인 자동화