비정형 데이터 다루기

Snowflake 아키텍처

Emily Melhuish

Technical Curriculum Developer, Snowflake

테이블을 넘어서

PDF, 이미지, 오디오 등의 파일을 포함한 클라우드

Snowflake 아키텍처

스테이지: 파일의 착륙 구역

내부 및 외부 스테이지 표현

  • 내부: Snowflake가 관리

  • 외부: 클라우드의 파일

  • 비정형 데이터는 스테이지에 저장

Snowflake 아키텍처

디렉터리 테이블

directory_table_top.png

Snowflake 아키텍처

디렉터리 테이블 구문

ENABLE DIRECTORY

CREATE STAGE snowy_peak_files_stage
  DIRECTORY = (ENABLE = TRUE);

디렉터리 메타데이터 새로고침 (ALTER STAGE)

ALTER STAGE snowy_peak_files_stage REFRESH;
Snowflake 아키텍처

디렉터리 테이블

directory_table_final.png

Snowflake 아키텍처

디렉터리 테이블 쿼리

SQL

SELECT 
file_name
, size
, last_modified
FROM DIRECTORY(@snowy_peak_files_stage);
  • 스테이지의 파일 감사
  • 오래된 파일 식별
  • 다운스트림 프로세스에 활용
Snowflake 아키텍처

사전 서명 URL

  • 외부 파트너 및 애플리케이션은 스테이지에 직접 접근 불가
  • Snowflake는 URL 또는 자격 증명을 노출하여 접근 허용: 스테이지 URL, 스코프 파일 URL, 사전 서명 URL 및 관련 헬퍼

 

SQL

SELECT GET_PRESIGNED_URL(@snowy_peak_files_stage, 'avalanche_forecast.pdf', 3600);

  • 스테이지, 파일 경로, 유효 시간(초) 전달

  • Snowflake 계정이 없는 파트너에게 유용

Snowflake 아키텍처

연습해 봅시다!

Snowflake 아키텍처

Preparing Video For Download...