Delta Lake 이해하기

Databricks에서의 데이터 관리

Smriti Mishra

Founder, NordData Insight

나의 Databricks 여정

 

 

의료 시나리오

헬스케어의 Delta Lake

• Delta Lake는 데이터를 체계적·정확·접근 가능하게 합니다.
• 전통적 웨어하우스·레이크보다 우수합니다.
• 의료 데이터 관리를 단순화합니다.
• 데이터 무결성과 접근성을 유지합니다.

ACID 트랜잭션

ACID 트랜잭션

• ACID: 데이터 무결성과 신뢰·일관 처리 보장

ACID 트랜잭션

• ACID: 데이터 무결성과 신뢰·일관 처리 보장
• Delta Lake는 환자 업데이트를 정확히 처리합니다.
• 미완성 기록과 데이터 오류를 방지합니다.
• 환자 안전과 진료를 위한 신뢰할 수 있는 데이터를 지원합니다.

스키마 강제 및 진화

• 환자 진료 데이터 무결성 보장
• 기록 변경에 유연하게 대응
• 워크플로 중단과 데이터 손상 방지

타임 트래블 기능

• 과거 버전 데이터에 접근하여 이력 검토
• 과거 치료 내역을 정확히 추적
• 포괄적 환자 진료 이력 유지의 중요성

배치와 스트리밍의 통합 처리

• Delta Lake는 실시간 모니터링과 배치 처리 모두 지원
• 중복과 처리 복잡성 감소

Delta Lake 아키텍처

• 안전한 전자의무기록으로서 Delta 테이블 개요
• 트랜잭션 로그로 신뢰성과 타임 트래블 보장
• Parquet 파일로 빠른 액세스와 분석

비교

• 데이터 웨어하우스는 비정형 데이터에 취약
• 데이터 레이크는 관리 없이는 구조 부족
• Delta Lake는 구조와 유연성을 결합, 헬스케어에 적합

¹ https://www.databricks.com/product/delta-sharing

연습해 봅시다!

Databricks에서의 데이터 관리