모두 합쳐보기

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

시나리오

$$

여러분은 리테일 회사에서 새 프로젝트를 시작하는 데이터 엔지니어입니다
목표: 컴퓨팅 설정, 데이터 파이프라인 검증, 거버넌스 확인, 배포 준비

$$

recraft: half: 노트북으로 Databricks 스타일의 인터페이스를 보여주는 현대적인 책상에 앉아 있는 데이터 엔지니어, 뒤 화이트보드에는 파이프라인 다이어그램이 있으며 새 데이터 프로젝트 온보딩을 나타냄

1단계: 적절한 컴퓨팅 선택

$$

파이프라인은 일정에 따라 매일 밤 실행됩니다
대화형 개발은 필요하지 않습니다
LTS 런타임을 사용하는 잡 클러스터가 적합합니다
데이터 볼륨 변동에 대비해 자동 스케일링(워커 2–6개)을 설정합니다

$$

	범용 클러스터	잡 클러스터
모드	대화형	자동화
관리	수동	자동 종료
비용	높음 (유휴 시간 발생)	비용 최적화

2단계: 메달리온 파이프라인 검증

$$

SELECT COUNT(*) FROM bronze_sales;
-- 1,247,832 rows

SELECT COUNT(*) FROM silver_sales;
-- 1,189,456 rows (nulls removed)

SELECT COUNT(*) FROM gold_daily_revenue;
-- 365 rows (daily aggregates)

$$

Bronze: 원시 데이터, 행 수가 가장 많음
Silver: 정제됨, 결측값 및 중복 제거
Gold: 비즈니스 보고를 위해 집계됨
품질이 높아질수록 행 수는 감소합니다

3단계: 거버넌스 확인

$$

Unity Catalog으로 이동하여 gold_daily_revenue 테이블을 확인합니다
계보(lineage)를 거슬러 올라가 silver_sales에서 읽어오는지 확인합니다
접근 제어를 검증합니다 — analytics 팀만 gold에 대한 SELECT 권한을 가져야 합니다
외부 파트너를 위한 Delta Sharing 설정을 확인합니다

$$

recraft: half: 체크 표시가 있는 연결된 테이블 노드를 보여주는 데이터 계보 그래프 위에 돋보기가 놓여 있으며, 거버넌스 검증을 나타냄

4단계: 배포 준비

$$

databricks.yml Asset Bundle을 검토합니다
야간 잡 리소스가 정의되어 있는지 확인합니다
프로덕션 대상이 올바른 워크스페이스 경로를 가리키는지 확인합니다
배포 전에 bundle validate를 실행합니다

$$

targets:
  production:
    workspace:
      root_path: /Shared/production
resources:
  jobs:
    nightly_sales_etl:
      schedule:
        quartz_cron: "0 0 3 * * ?"

요약

$$

컴퓨팅: 워크로드에 맞는 클러스터 유형 선택 (자동화에는 잡 클러스터)
데이터: 메달리온 레이어가 올바르게 흐르는지 검증
거버넌스: 계보 추적, 접근 권한 확인, 공유 설정 검토
배포: Asset Bundle 검토, 유효성 검사 후 배포

연습해 봅시다!

Databricks Lakehouse 입문

Preparing Video For Download...