데이터 적재

Databricks SQL 입문

Kevin Barlow

Data Manager

동기 부여

레이크하우스 흐름 다이어그램

레이크하우스 만들기

레이크하우스 흐름 다이어그램 - 수집

GUI 기반 옵션

Lakeflow Connect

데이터 수집용 기본 커넥터 제공
- 데이터베이스
- SaaS 애플리케이션
데이터를 최신 상태로 유지하는 파이프라인 생성

Lakeflow Connect

데이터 업로드

파일을 수동 업로드
- CSV, Parquet 등
새 Delta 테이블을 빠르게 생성
임시/수시 업로드에 적합

수동 데이터 업로드

레이크하우스로 데이터 가져오기

COPY INTO

클라우드 오브젝트 스토리지에서 Delta 테이블로 직접 복사
더 정적인 데이터셋에 적합
SQL Editor에서 바로 실행 가능

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

클라우드 스토리지의 신규 파일을 자동 수집
더 크고 변화하는 데이터셋에 적합
SQL의 Delta Live Tables 활용

CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")

연습해 봅시다!

Databricks SQL 입문

Preparing Video For Download...