플랫폼 아키텍처

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

호텔 비유

$$

컨트롤 플레인 - "프런트 데스크"

recraft: half: A modern hotel front desk with a concierge managing bookings on screens, representing Databricks managing coordination and scheduling

  • Databricks가 관리
  • 조정 및 요청 처리

$$

데이터 플레인 - "호텔 객실"

recraft: half: A secure private hotel room with a personal safe and workspace desk, representing the customer cloud account where data lives and compute runs

  • 고객 클라우드 계정에 위치
  • 데이터와 컴퓨팅이 실행되는 공간
Databricks Lakehouse 입문

컨트롤 플레인

$$

  • Databricks가 관리
  • 워크스페이스 UI 및 노트북
  • 작업 스케줄링 및 오케스트레이션
  • 클러스터 관리 및 구성

$$

recraft: half: A modern reception desk with organized monitors showing dashboards and scheduling boards, representing a control center

Databricks Lakehouse 입문

데이터 플레인

$$

recraft: half: A secure vault room with server racks and locked storage containers, representing customer-owned cloud infrastructure

$$

  • 고객 클라우드 계정에 위치
  • 컴퓨팅 클러스터가 실행되는 공간
  • 데이터는 고객 클라우드 스토리지에 저장
  • 접근 권한 및 네트워킹을 직접 제어
Databricks Lakehouse 입문

무엇이 어디에 있을까요?

nanobanana: full: Split diagram with two sections connected by arrows: left side labeled Control Plane showing Workspace UI and Job Scheduler, right side labeled Data Plane showing Clusters and Cloud Storage, arrows flowing between them

Databricks Lakehouse 입문

감사 로그와 시스템 테이블

$$

  • 감사 로그는 모든 워크스페이스 활동을 추적
  • 시스템 테이블로 고객 클라우드 계정에 저장
  • SQL로 쿼리하여 컴플라이언스 보고 가능

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Databricks Lakehouse 입문

요약

$$

  • 컨트롤 플레인 - Databricks 관리 (UI, 스케줄링, 관리)
  • 데이터 플레인 - 고객 클라우드 (컴퓨팅, 스토리지, 데이터)
  • 감사 로그 - 고객 계정에 시스템 테이블로 저장
  • 데이터는 절대로 고객 클라우드 환경을 벗어나지 않음
Databricks Lakehouse 입문

연습해 봅시다!

Databricks Lakehouse 입문

Preparing Video For Download...