Kiến trúc medallion

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Từ thô đến sẵn sàng

Dữ liệu thô đổ vào lakehouse - rồi sao nữa?
Bản ghi lộn xộn, chưa kiểm chứng cần lộ trình để ra insight sạch
Kiến trúc medallion giải quyết điều này

Bài toán chất lượng dữ liệu

recraft: half: Một kỹ sư dữ liệu bối rối nhìn các luồng dữ liệu rối rắm chảy vào màn hình laptop hiện đại

Dữ liệu thô từ hàng chục nguồn
Thiếu trường, trùng lặp, sai kiểu
Nhà phân tích cần dữ liệu đáng tin cậy

Ba lớp, một mục tiêu

nanobanana: full: Quy trình bếp chuyên nghiệp ba giai đoạn từ trái sang phải: nguyên liệu thô trong thùng dán nhãn Bronze, trạm sơ chế với rau củ đã cắt dán nhãn Silver, món ăn trình bày đẹp dán nhãn Gold, minh họa hiện đại sạch

Lớp bronze

Ghi nhận dữ liệu ngay khi đến
Định dạng không đồng nhất và trường có thể null
Chỉ ghi thêm - không xóa hay sửa
Lưới an toàn của bạn - luôn truy vết được

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Lớp silver

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Timestamp → kiểu datetime chuẩn
Loại null, bỏ trùng lặp
Schema được áp đặt - kiểu nhất quán

Lớp gold

Tổng hợp ở cấp nghiệp vụ
Cung cấp cho dashboard và báo cáo lãnh đạo
Tối ưu cho tiêu thụ nhanh

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Ai thường dùng lớp nào?

nanobanana: full: Ba lớp ngang xếp dọc: lớp Gold trên cùng với biểu tượng analyst, lớp Silver ở giữa với biểu tượng data scientist, lớp Bronze dưới cùng với biểu tượng data engineer, mỗi lớp gắn nhãn vai trò, infographic sạch

Đây là mẫu phổ biến, không phải luật cứng - mọi vai trò có thể truy cập mọi lớp

Tóm tắt

Bronze - giữ mọi thứ thô, lưới an toàn của bạn
Silver - làm sạch và kiểm chứng, nền tảng tin cậy
Gold - tổng hợp cho nghiệp vụ, insight sẵn dùng
Mỗi lớp → nhóm dùng khác nhau, tiêu chuẩn khác nhau

nanobanana: half: Bục trao giải ba tầng với huy chương đồng, bạc, vàng tượng trưng các lớp chất lượng dữ liệu, phong cách hiện đại sạch

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse