왜 레이크하우스인가?

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

학습 내용

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

Databricks 레이크하우스 살펴보기

  1. 레이크하우스에서 데이터가 구성되는 방식
  2. 컴퓨팅 및 노트북 관리 방법
  3. 데이터를 안전하게 거버닝하고 공유하는 방법
  4. 작업을 프로덕션에 배포하는 방법
Databricks Lakehouse 입문

강사 소개

       

Gang Wang

  • 시니어 데이터 과학자

  • Origin Energy, 호주 (2021년~현재)

  • 박사 후 9년 이상의 경력

       

Databricks Lakehouse 입문

데이터 레이크의 약속

$$

recraft: half: 다양한 크기의 알록달록한 배럴과 상자들이 가득한 넓은 창고, 다양한 원시 데이터 저장소를 나타냄

$$

  • 저비용으로 모든 데이터 저장
  • 정형, 반정형, 비정형 데이터 지원
  • 유연한 스키마 온 리드(schema-on-read)
Databricks Lakehouse 입문

레이크의 어두운 면

$$

  • 데이터 품질에 대한 보장 없음
  • 내장된 거버넌스 및 접근 제어 없음
  • "데이터 스왐프" - 신뢰할 수 있는 데이터 찾기 어려움
  • 분석 및 AI를 위한 별도 도구 필요

$$

recraft: half: 어두운 습지에 엉킨 넝쿨과 진흙 속으로 가라앉는 파일들, 유실되고 신뢰할 수 없는 데이터를 지닌 데이터 스왐프를 나타냄

Databricks Lakehouse 입문

데이터 웨어하우스의 트레이드오프

$$

  • 신뢰성 높고 성능 우수
  • 강력한 거버넌스
  • 하지만 비용이 높고 경직됨
  • 정형 데이터만 지원

$$

recraft: half: 책들이 선반에 가지런히 정리된 깔끔한 도서관, 정형화되고 신뢰할 수 있는 데이터 저장소를 나타냄

Databricks Lakehouse 입문

레이크하우스의 등장

$$

comparison: 데이터 레이크, 유연성, 저비용, 비정형 | 데이터 웨어하우스, 신뢰성, 거버넌스, 경직성

Databricks Lakehouse 입문

Databricks에서 작동하는 원리

$$

  • 개방형 파일 포맷 (Delta Lake)
  • 레이크 위의 ACID 트랜잭션
  • 통합 거버넌스 (Unity Catalog)
  • 분석, AI, 앱을 위한 단일 플랫폼

$$

nanobanana: half: 아래에서 위로 쌓인 네 개의 블록으로 이루어진 탑, 각 블록에는 순서대로 Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI라고 표시됨, 깔끔한 모던 인포그래픽 스타일

Databricks Lakehouse 입문

레이크하우스의 데이터 품질 향상

$$

flowchart: 원시 데이터, 스키마 적용, ACID 트랜잭션, 거버닝 및 신뢰 확보

$$

  • 쓰기 시점에 스키마 적용
  • 트랜잭션 로그로 모든 변경 사항 추적
  • 타임 트래블 - 과거 버전 쿼리 가능
Databricks Lakehouse 입문

요약

$$

  • 데이터 레이크 - 유연하지만 신뢰성 부족
  • 데이터 웨어하우스 - 신뢰성은 높지만 경직되고 비용 높음
  • 레이크하우스 - 두 장점을 결합한 단일 플랫폼
  • Delta Lake, ACID, Unity Catalog 기반
Databricks Lakehouse 입문

연습해 봅시다!

Databricks Lakehouse 입문

Preparing Video For Download...