Архітектура medallion

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Від сирих до готових

Сирі дані потрапляють у lakehouse — що далі?
Брудні, невалідні записи треба перетворити на чисті інсайти
Це вирішує архітектура medallion

Проблема якості даних

recraft: half: Розгублений інженер даних дивиться на заплутані потоки даних, що втікають у сучасний екран ноутбука

Сирі дані з десятків джерел
Пропуски, дублікати, невідповідні типи
Аналітикам потрібні надійні дані

Три шари — одна мета

nanobanana: full: Професійний кухонний процес у трьох етапах зліва направо: сирі інгредієнти в ящику з позначкою Bronze, станція підготовки з нарізаними овочами з позначкою Silver, красиво подана страва з позначкою Gold, чиста сучасна ілюстрація

Шар bronze

Фіксує дані одразу по надходженні
Непослідовні формати й nullable-поля
Лише додавання — нічого не видаляють і не змінюють
Ваш запобіжник — завжди можна відстежити джерело

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Шар silver

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Позначки часу → типи proper datetime
Null-значення прибрано, дублікати усунуто
Схему застосовано — типи узгоджені

Шар gold

Агрегати рівня бізнесу
Живлять дашборди та звіти для керівництва
Оптимізовано для швидкого споживання

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Хто зазвичай користується яким шаром?

nanobanana: full: Три горизонтальні шари, складені вертикально: зверху шар Gold з іконкою аналітика, посередині шар Silver з іконкою дата-сайентиста, знизу шар Bronze з іконкою інженера даних, кожен підписаний назвою ролі, чистий інфографічний стиль

Це типові патерни, не жорсткі правила — будь-яка роль може мати доступ до будь-якого шару

Підсумок

Bronze — фіксує все сире, ваш запобіжник
Silver — очищує й валідуює, надійна основа
Gold — агрегує для бізнесу, готові інсайти
Кожен шар → різні споживачі, різні стандарти

nanobanana: half: Триступенева призова тумба з бронзовою, срібною та золотою медалями, що символізують шари якості даних, чистий сучасний стиль

Давайте потренуємось!

Вступ до Databricks Lakehouse