스테이지, 파일 형식, COPY INTO

Snowflake 데이터 파이프라인 자동화

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowflake가 지원하는 다양한 워크로드

Screenshot 2026-05-11 at 11.52.34 am.png

¹ * Snowflake Learning Material

Screenshot 2026-05-11 at 10.48.51 am.png

¹ * Snowflake Learning Material

Harbr 가상 로고

Harbr 소개

데이터 로딩 다이어그램

스테이지 = 임시 저장 위치

두 가지 스테이지 유형

내부 스테이지

외부 스테이지

디렉터리 테이블

CREATE STAGE harbr_stage
  DIRECTORY = (ENABLE = TRUE)

내부 스테이지 암호화

ENCRYPTION = (TYPE = SNOWFLAKE_FULL)
ENCRYPTION = (TYPE = SNOWFLAKE_SSE)

외부 스테이지 암호화

ENCRYPTION = 
([ TYPE = 'AWS_CSE' ] MASTER_KEY = '') 

ENCRYPTION = 
([ TYPE = 'AWS_SSE_S3' ]) 

...

정형 형식: 구분자, 헤더 행, 인용 규칙이 있는 CSV
반정형 형식: JSON, Parquet, Avro, ORC, XML
- VARIANT 열에 직접 로드
- 파싱 규칙을 한 번 정의하여 모든 로드 작업에 재사용
형식 객체를 한 번만 업데이트

SQL

CREATE FILE FORMAT harbr_csv_format
  TYPE = 'CSV'
  FIELD_DELIMITER = ','
  SKIP_HEADER = 1;

명명된 스테이지와 파일 형식을 사용한 로드

COPY INTO logistics.shipments
FROM @harbr_internal_stage/shipments/
FILE_FORMAT = (FORMAT_NAME = 'harbr_csv_format')

로드 없이 검증 = 드라이 런

COPY INTO logistics.shipments
FROM @harbr_internal_stage/shipments/
FILE_FORMAT = (FORMAT_NAME = 'harbr_csv_format')
VALIDATION_MODE = RETURN_ERRORS;

로드 이력 확인

SELECT * FROM TABLE(INFORMATION_SCHEMA.COPY_HISTORY(
  TABLE_NAME => 'shipments',
  START_TIME => DATEADD('hour', -24,
    CURRENT_TIMESTAMP())));

Snowflake 데이터 파이프라인 자동화