Lakehouse Federation

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

문제: 데이터 사일로

$$

recraft: half: 각 섬에 데이터 테이블이 있고 섬 사이에 연결 다리가 없는 여러 고립된 섬, 서로 다른 시스템에 걸친 데이터 사일로를 표현

$$

  • 여러 시스템에 분산된 데이터
  • PostgreSQL, MySQL, Snowflake, SQL Server
  • 데이터 이동은 느리고 복사본이 생깁니다
  • 모든 데이터를 아우르는 답이 필요합니다
Databricks Lakehouse 입문

Lakehouse Federation이란?

$$

architecture: Lakehouse Federation

Databricks Lakehouse 입문

연결 설정하기

$$

-- Create a connection
CREATE CONNECTION partner_pg
TYPE postgresql
OPTIONS (
  host 'db.partner.com',
  port '5432',
  user 'reader',
  password secret('scope', 'key')
);

$$

-- Create a foreign catalog
CREATE FOREIGN CATALOG partner_db
USING CONNECTION partner_pg;

-- Query the external table
SELECT *
FROM partner_db.public.orders
LIMIT 10;

Databricks Lakehouse 입문

페더레이션 vs. 수집: 언제 무엇을 선택할까?

$$

페더레이션 수집
접근 방식 실시간 배치 복사
쿼리 빈도 낮음 높음
지연 시간 소스 의존적 낮음
규정 준수 복사본 불필요 데이터 이동 발생
변환 제한적 전체 메달리온

$$

  • 실시간, 저용량, 또는 규정 준수 제한이 있는 접근에는 페더레이션
  • 대용량, 반복적, 성능이 중요한 워크로드에는 수집
Databricks Lakehouse 입문

Unity Catalog에서의 페더레이션

$$

  • 페더레이션 테이블은 Unity Catalog 계층 구조에 표시됩니다
  • 로컬 테이블과 동일한 접근 제어 및 계보(lineage) 적용
  • 단일 쿼리로 페더레이션 테이블과 로컬 레이크하우스 테이블을 조인 가능
  • 지원 소스: PostgreSQL, MySQL, Snowflake, SQL Server 등

$$

recraft: half: 데이터 스트림으로 이루어진 빛나는 다리로 연결된 두 현대식 건물과 중앙의 카탈로그 디렉터리, 페더레이션 데이터 거버넌스를 표현

Databricks Lakehouse 입문

요약

$$

  • Lakehouse Federation은 데이터를 복사하지 않고 외부 데이터를 쿼리합니다
  • 연결을 설정하고, 외부 카탈로그를 생성한 뒤, 표준 SQL로 쿼리합니다
  • 실시간, 저용량, 규정 준수 제한 접근에는 페더레이션을 사용합니다
  • 대용량, 반복적, 성능 중심 워크로드에는 수집을 사용합니다
Databricks Lakehouse 입문

연습해 봅시다!

Databricks Lakehouse 입문

Preparing Video For Download...