쿼리 프로파일, 히스토리 및 인사이트

Snowflake 데이터 파이프라인 자동화

Emily Melhuish

Technical Curriculum Developer, Snowflake

쿼리 프로파일을 사용하는 이유

운영 대시보드

Snowflake가 불필요한 데이터를 스캔할 수 있습니다

Snowsight에서 쿼리 프로파일 열기

쿼리 프로파일 접근 방법

접근 경로: 모니터링 > 쿼리 히스토리 > [쿼리 선택] > 쿼리 프로파일 탭

연산자 트리 읽기

가장 비용이 높은 노드 패널이 포함된 Snowsight 쿼리 프로파일 연산자 그래프

쿼리 프로파일이 드러내는 4가지 주요 문제

폭발적 조인

입력보다 더 많은 행을 출력

ALL 없는 UNION

중복 제거를 위해 UNION 위에 집계 연산 추가
추가 처리 시간 발생

디스크 스필

메모리 집약적 연산자의 메모리 부족
집계, 정렬, 대형 조인 등의 연산자에서 발생

비효율적 프루닝

스캔된 파티션 수가 전체에 근접할 때 나타남
필터가 효과적으로 작동하지 않는 상태

디스크 스필: 로컬 vs 원격

로컬 스필 → 웨어하우스 SSD - 메모리보다 느리지만 허용 가능
원격 스필 → 클라우드 스토리지 - 훨씬 느림; 반드시 해결 필요

진단 쿼리

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;

QUERY_HISTORY: 계정 전체 가시성

ACCOUNT_USAGE.QUERY_HISTORY - 365일 보존 뷰
INFORMATION_SCHEMA.QUERY_HISTORY() 테이블 함수, 7일 보존

쿼리 히스토리 실행 화면

쿼리 인사이트: 자동화된 권장 사항

쿼리 인사이트 권장 사항

연습해 보겠습니다!

Snowflake 데이터 파이프라인 자동화