데이터 변환

Databricks SQL 입문

Kevin Barlow

Data Manager

동기 부여

레이크하우스 흐름 - 적재

레이크하우스의 변환

레이크플로 다이어그램 - 변환

데이터 정제와 변환

브론즈(원시) 레이어 데이터를 실버(분석 준비) 레이어로 정제
이후 단계 테이블에 중요
일반 작업
- NULL 값 제거
- 값 표준화
- 데이터 타입 조정

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

데이터 집계

실버 레이어 데이터를 결합·단순화하여 골드(BI 준비) 레이어로 이동
특정 BI 요구에 맞춤
- 뷰에 적합
일반 작업
- 불필요한 컬럼 제거
- 차원별 집계
- 지표/KPI 계산

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

작업 자동화

워크플로 GIF

연습해 봅시다!

Databricks SQL 입문