메달리온 아키텍처

Databricks Lakehouse 입문

Gang Wang

Senior Data Scientist

원시 데이터에서 준비된 데이터로

$$

  • 원시 데이터가 레이크하우스에 쌓입니다 - 그 다음은?
  • 지저분하고 검증되지 않은 데이터를 정제해야 합니다
  • 메달리온 아키텍처가 이 문제를 해결합니다
Databricks Lakehouse 입문

데이터 품질 문제

$$

recraft: half: A confused data engineer looking at messy tangled data streams flowing into a modern laptop screen

$$

  • 수십 개의 소스에서 원시 데이터가 유입됩니다
  • 누락 필드, 중복, 타입 불일치가 존재합니다
  • 분석가에게는 신뢰할 수 있는 데이터가 필요합니다
Databricks Lakehouse 입문

세 개의 레이어, 하나의 목적

$$

nanobanana: full: Professional kitchen workflow in three stages left to right: raw ingredients in a crate labeled Bronze, a prep station with chopped vegetables labeled Silver, a beautifully plated dish labeled Gold, clean modern illustration

Databricks Lakehouse 입문

브론즈 레이어

$$

  • 데이터를 수신 즉시 저장합니다
  • 형식이 일관되지 않고 null 필드가 존재합니다
  • 추가 전용 - 삭제나 수정 없음
  • 안전망 역할 - 언제든 원본으로 추적 가능
{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}
Databricks Lakehouse 입문

실버 레이어

$$

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

$$

  • 타임스탬프 → 적절한 datetime 타입으로 변환
  • null 제거, 중복 제거 완료
  • 스키마 적용 - 타입 일관성 보장
Databricks Lakehouse 입문

골드 레이어

$$

  • 비즈니스 수준의 집계 데이터
  • 대시보드 및 경영진 보고서에 활용됩니다
  • 빠른 소비를 위해 최적화되어 있습니다

$$

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156
Databricks Lakehouse 입문

각 레이어는 누가 주로 사용할까요?

nanobanana: full: Three horizontal layers stacked vertically: Gold layer at top with analyst icon, Silver layer in middle with data scientist icon, Bronze layer at bottom with data engineer icon, each labeled with role name, clean infographic style

  • 이는 일반적인 패턴이며 엄격한 규칙이 아닙니다 - 어떤 역할이든 모든 레이어에 접근할 수 있습니다
Databricks Lakehouse 입문

요약

$$

  • 브론즈 - 모든 원시 데이터를 저장하는 안전망
  • 실버 - 정제 및 검증을 통한 신뢰할 수 있는 기반
  • 골드 - 비즈니스용 집계 및 인사이트 제공
  • 레이어마다 → 소비자와 기준이 다릅니다

$$

nanobanana: half: Three-tiered award podium with bronze, silver, and gold medals representing data quality layers, clean modern style

Databricks Lakehouse 입문

연습해 봅시다!

Databricks Lakehouse 입문

Preparing Video For Download...