สถาปัตยกรรมเหรียญ

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

จากข้อมูลดิบสู่ข้อมูลพร้อมใช้

ข้อมูลดิบเข้าสู่ lakehouse — แล้วจะทำอะไรต่อ?
ข้อมูลที่ยุ่งเหยิงและยังไม่ผ่านการตรวจสอบต้องการเส้นทางสู่ข้อมูลเชิงลึกที่สะอาด
medallion architecture คือคำตอบ

ปัญหาคุณภาพข้อมูล

recraft: half: วิศวกรข้อมูลที่งุนงงมองกระแสข้อมูลที่พัวพันวุ่นวายไหลเข้าหน้าจอแล็ปท็อปสมัยใหม่

ข้อมูลดิบจาก แหล่งข้อมูลหลายสิบแหล่ง
ฟิลด์ที่ขาดหาย ข้อมูลซ้ำ และชนิดข้อมูลที่ไม่ตรงกัน
นักวิเคราะห์ต้องการข้อมูลที่ เชื่อถือได้

3 เลเยอร์ เป้าหมายเดียว

nanobanana: full: ขั้นตอนการทำงานในครัวมืออาชีพแบ่งเป็น 3 ขั้นจากซ้ายไปขวา: วัตถุดิบในลังไม้ติดป้าย Bronze, สถานีเตรียมอาหารพร้อมผักหั่นติดป้าย Silver, และจานอาหารที่จัดวางสวยงามติดป้าย Gold, ภาพประกอบสไตล์โมเดิร์นสะอาดตา

เลเยอร์ Bronze

รับข้อมูลตามที่เข้ามาทันที
รูปแบบไม่สม่ำเสมอและฟิลด์ที่เป็น null ได้
Append-only — ไม่ลบหรือแก้ไขข้อมูล
ตาข่ายนิรภัย — ย้อนกลับได้เสมอ

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

เลเยอร์ Silver

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Timestamps → ชนิด datetime ที่ถูกต้อง
ลบค่า null และข้อมูลซ้ำออก
Schema บังคับใช้ — ชนิดข้อมูลสม่ำเสมอ

เลเยอร์ Gold

ข้อมูลสรุประดับ ธุรกิจ
ขับเคลื่อน dashboard และรายงานระดับผู้บริหาร
ปรับแต่งเพื่อการ ใช้งาน ที่รวดเร็ว

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

ปกติแล้วใครใช้เลเยอร์ไหน?

nanobanana: full: 3 เลเยอร์แนวนอนเรียงซ้อนกันในแนวตั้ง: เลเยอร์ Gold อยู่บนสุดพร้อมไอคอนนักวิเคราะห์, เลเยอร์ Silver อยู่กลางพร้อมไอคอนนักวิทยาศาสตร์ข้อมูล, เลเยอร์ Bronze อยู่ล่างสุดพร้อมไอคอนวิศวกรข้อมูล แต่ละเลเยอร์ติดป้ายชื่อบทบาท สไตล์ infographic สะอาดตา

นี่คือ รูปแบบทั่วไป ไม่ใช่กฎตายตัว — ทุกบทบาทสามารถเข้าถึงเลเยอร์ใดก็ได้

สรุป

Bronze — เก็บข้อมูลดิบทั้งหมด เป็นตาข่ายนิรภัย
Silver — ทำความสะอาดและตรวจสอบ เป็นรากฐานที่เชื่อถือได้
Gold — รวมข้อมูลเพื่อธุรกิจ พร้อมนำเสนอ
แต่ละเลเยอร์ → ผู้ใช้ต่างกัน มาตรฐานต่างกัน

nanobanana: half: แท่นรับรางวัล 3 ระดับพร้อมเหรียญ Bronze, Silver และ Gold แทนเลเยอร์คุณภาพข้อมูล สไตล์โมเดิร์นสะอาดตา

มาฝึกกันเถอะ!

Introduction to Databricks Lakehouse