Databricks SQL 주요 자산

Databricks SQL 입문

Kevin Barlow

Data Manager

유용한 비유

나무는 다양한 구성 요소로 이루어지며, 모두 합쳐져 하나의 전체를 이룹니다

나무 시스템 GIF

Databricks SQL에서는 여러 구성 요소가 결합되어 데이터 웨어하우스 솔루션을 구성합니다

Databricks SQL 자산

쿼리

Databricks SQL 분석의 기본 단위
컴퓨팅 리소스에서 SQL 코드 실행
ANSI SQL 표준 사용
다음 소스의 데이터 처리:
- Unity Catalog
- Delta 테이블
- 데이터 레이크 파일
- 데이터 스트림

SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2

SQL Warehouse

SQL 전용 컴퓨팅 클러스터
최적화 기능 (예: Photon)
간편한 관리
손쉬운 확장
쿼리 및 BI 도구 지원

SQL Warehouse GIF

테이블과 뷰 비교

테이블

데이터셋의 물리적 구현체
Delta 형식으로 저장
데이터 파이프라인 외부에서 읽기 및 접근 가능
데이터 레이아웃 최적화 가능 (파티셔닝 등)

오브젝트 스토리지의 테이블

테이블과 뷰 비교

뷰

Unity Catalog에서 쿼리 결과의 가상 표현
데이터 읽기 시 빠른 성능
다운스트림 쿼리 단순화에 유용
- 소스 쿼리에 다수의 조인, 필터 등 포함
증분 데이터 처리 지원

뷰 다이어그램

시각화와 대시보드

시각화

쿼리 결과의 시각적 표현
단일 쿼리를 기반으로 생성

시각화 구성

대시보드

여러 시각화의 모음
다수의 데이터셋 / 쿼리 결과 포함

대시보드 샘플

연습해 봅시다!

Databricks SQL 입문