Медальонная архитектура

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

От сырых данных к готовым

Необработанные данные попадают в хранилище — что дальше?
Неупорядоченные, непроверенные записи нуждаются в обработке
Медальонная архитектура решает эту задачу

Проблема качества данных

recraft: half: A confused data engineer looking at messy tangled data streams flowing into a modern laptop screen

Данные из десятков источников
Пропущенные поля, дубликаты, несовместимые типы
Аналитикам нужны надёжные данные

Три уровня, одна цель

nanobanana: full: Professional kitchen workflow in three stages left to right: raw ingredients in a crate labeled Bronze, a prep station with chopped vegetables labeled Silver, a beautifully plated dish labeled Gold, clean modern illustration

Уровень Bronze

Фиксирует данные по мере поступления
Непоследовательные форматы и nullable-поля
Только добавление — ничего не удаляется и не изменяется
Страховочная сеть — всегда можно отследить источник

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Уровень Silver

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Метки времени → тип datetime
Пустые значения удалены, дубликаты исключены
Схема применяется — согласованные типы

Уровень Gold

Агрегаты на уровне бизнес-метрик
Основа для дашбордов и управленческой отчётности
Оптимизирован для быстрого потребления

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Кто обычно работает с каким уровнем?

nanobanana: full: Three horizontal layers stacked vertically: Gold layer at top with analyst icon, Silver layer in middle with data scientist icon, Bronze layer at bottom with data engineer icon, each labeled with role name, clean infographic style

Это типичные паттерны, а не жёсткие правила — любая роль может работать с любым уровнем

Итоги

Bronze — фиксирует всё в исходном виде, страховочная сеть
Silver — очищает и проверяет, надёжная основа
Gold — агрегирует для бизнеса, готовые аналитические данные
Каждый уровень → свои потребители и свои стандарты

nanobanana: half: Three-tiered award podium with bronze, silver, and gold medals representing data quality layers, clean modern style

Давайте потренируемся!

Введение в Databricks Lakehouse