일반적인 데이터 엔지니어링 패턴

Databricks SQL 입문

Kevin Barlow

Data Manager

동기

레이크하우스 다이어그램 - 변환

수집 데이터 처리

증분 추가

새 데이터를 기존 테이블 끝에 추가합니다
```
INSERT INTO students 
TABLE visiting_students;
```

증분 추가 다이어그램

변경 데이터 캡처(CDC)

기존 테이블에 데이터를 통합합니다

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

CDC 다이어그램

데이터 최적화

OPTIMIZE

데이터 하위 집합을 압축합니다
"작은 파일 문제"를 줄입니다

Z-ORDER

데이터베이스 인덱싱과 유사합니다
관련 데이터를 동일 파일에 배치합니다
읽기 시간을 줄일 수 있습니다

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

연습해 봅시다!

Databricks SQL 입문