축하합니다!

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

1장: 레이크하우스 패러다임

$$

  • 레이크하우스는 레이크의 유연성과 웨어하우스의 안정성을 결합합니다
  • 메달리온 아키텍처는 데이터를 구성합니다: 브론즈 → 실버 → 골드
  • 컨트롤 플레인은 Databricks가 관리하고, 데이터 플레인은 클라우드에 존재합니다

$$

recraft: half: 유리 외관이 웨어하우스 구조와 호수를 동시에 반영하는 현대적인 건물로, 두 접근 방식을 통합한 레이크하우스 아키텍처를 표현합니다

Databricks Lakehouse 입문

2장: 컴퓨팅과 노트북

$$

recraft: half: 빛나는 노드로 연결된 서버 클러스터 앞에 노트북이 펼쳐진 모습으로, 컴퓨팅 리소스와 대화형 개발을 표현합니다

$$

  • 범용 클러스터는 대화형 작업에, 작업 클러스터는 자동화에 사용됩니다
  • 자동 스케일링, 자동 종료, 정책으로 비용을 관리합니다
  • 노트북은 매직 명령어를 통해 여러 언어를 지원합니다
  • Databricks Repos는 워크스페이스에 완전한 Git 통합을 제공합니다
Databricks Lakehouse 입문

3장: 거버넌스와 공유

$$

  • Unity Catalog은 중앙 집중식 거버넌스와 자동 계보 추적을 제공합니다
  • Delta Sharing은 외부 파트너에게 데이터 복사 없이 실시간 접근권을 부여합니다
  • Databricks 간에는 네이티브 공유, 모든 플랫폼에는 오픈 프로토콜을 사용합니다
  • Lakehouse Federation은 데이터 이동 없이 외부 데이터베이스를 쿼리합니다

$$

recraft: half: 중앙에 자물쇠가 있는 방패 주위로 여러 건물을 연결하는 데이터 스트림이 흐르는 모습으로, 거버넌스와 안전한 데이터 공유를 표현합니다

Databricks Lakehouse 입문

4장: 배포

$$

recraft: half: 노트북 화면에서 로켓이 발사되고 배포 파이프라인과 코드가 위로 흐르는 모습으로, 프로덕션 자동 배포를 표현합니다

$$

  • Databricks Asset Bundles는 수동 UI 배포를 코드로 대체합니다
  • databricks.yml은 프로젝트, 리소스, 타깃을 정의합니다
  • CLI 명령어: validate, deploy, run, destroy
  • 모든 것이 Git에 저장되어 재현 가능하고 감사 가능하며 자동화됩니다
Databricks Lakehouse 입문

다음 학습 단계

$$

  • Introduction to Databricks SQL - SQL 분석 및 웨어하우징
  • Data Engineering with Databricks - 프로덕션 ETL 파이프라인
  • Databricks Concepts - 다양한 역할에 걸친 엔드투엔드 워크플로

$$

recraft: half: 표지판이 세워진 다채로운 풍경 속으로 멀리 이어지는 구불구불한 도로로, 앞으로의 학습 여정을 표현합니다

Databricks Lakehouse 입문

감사합니다!

Databricks Lakehouse 입문

Preparing Video For Download...