수동 배포에서 자동화 배포로

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

수동 배포의 문제점

$$

  • UI에서 작업을 하나씩 설정
  • 노트북을 프로덕션 폴더에 수동으로 복사
  • 스테이징과 프로덕션 간 설정 불일치 발생
  • 배포를 처음부터 재현할 방법 없음

$$

recraft: half: 수동 배포의 혼란을 나타내는, 포스트잇과 뒤섞인 서류로 가득한 책상에 앉아 있는 사람

Databricks Lakehouse 입문

규모가 커질 때 중요한 이유

$$

  • 일반적인 프로젝트에는 작업, 파이프라인, 클러스터, 권한, 스케줄이 포함
  • 각 항목을 UI에서 개별 설정
  • 팀원이 떠나면 설정 관련 지식도 함께 사라짐
  • 감사에서 "지난달에 무엇이 바뀌었나요?"라고 물어도 명확한 답 없음

$$

recraft: half: 잃어버린 조직 지식과 설정 혼란을 나타내는, 뒤엉킨 다이어그램과 취소선, 물음표로 가득한 사무실 화이트보드

Databricks Lakehouse 입문

Databricks Asset Bundles란?

$$

radial: Databricks Asset Bundles

$$

  • 프로젝트 폴더에 모든 것을 담아 Git으로 버전 관리하고, CLI 명령 하나로 배포
Databricks Lakehouse 입문

DAB의 장점

$$

  • 재현 가능 - 매번 동일한 설정으로 배포
  • 버전 관리 - Git에서 변경 사항 추적
  • 환경 승격 - dev → staging → prod
  • CI/CD 통합 - 파이프라인에서 배포 자동화

$$

recraft: half: 재현 가능한 자동화 배포를 나타내는, 컨베이어 벨트에서 동일한 상자가 연속으로 생산되는 공장 조립 라인

Databricks Lakehouse 입문

기존 방식 vs. DAB

$$

기존 방식 DAB
설정 UI 클릭 Git의 YAML 파일
재현성 수동, 오류 발생 가능 자동화, 일관성 유지
환경 승격 복사 후 재설정 bundle deploy --target prod
롤백 기억에 의존해 재생성 git revert + 재배포
협업 한 번에 한 명 전체 Git 워크플로

Databricks Lakehouse 입문

요약

$$

  • 수동 UI 배포는 취약하고 확장성이 없음
  • Databricks Asset Bundles는 프로젝트를 YAML로 정의
  • 장점: 재현성, 버전 관리, CI/CD, 환경 승격
  • 모든 것이 Git에 저장 - 배포의 단일 진실 공급원
Databricks Lakehouse 입문

연습해 봅시다!

Databricks Lakehouse 입문

Preparing Video For Download...