การแปลงข้อมูล

Introduction to Databricks SQL

Kevin Barlow

Data Manager

แรงจูงใจ

Lakehouse Flow - การนำเข้าข้อมูล

การแปลงข้อมูลใน Lakehouse

Lakeflow Diagram - การแปลงข้อมูล

การทำความสะอาดและแปลงข้อมูล

ทำความสะอาดข้อมูลจาก Bronze layer (ข้อมูลดิบ) ไปยัง Silver layer (พร้อมสำหรับการวิเคราะห์)
เป็นขั้นตอนสำคัญสำหรับตารางข้อมูลปลายทาง
กิจกรรมที่พบบ่อย
- ลบค่า NULL
- ทำให้ค่ามาตรฐาน
- ปรับประเภทข้อมูล

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

การรวมข้อมูล

รวมและลดความซับซ้อนของข้อมูลจาก Silver layer ไปยัง Gold layer (พร้อมสำหรับ BI)
ออกแบบสำหรับความต้องการด้าน Business Intelligence โดยเฉพาะ
- เหมาะสำหรับการสร้าง View
กิจกรรมที่พบบ่อย
- ลบคอลัมน์ที่ไม่จำเป็น
- รวมข้อมูลตามมิติต่าง ๆ
- คำนวณตัวชี้วัด / KPI

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

การทำให้งานเป็นอัตโนมัติ

Workflows GIF

มาฝึกกันเถอะ!

Introduction to Databricks SQL