รูปแบบทั่วไปในการวิศวกรรมข้อมูล

Introduction to Databricks SQL

Kevin Barlow

Data Manager

แรงจูงใจ

แผนภาพ Lakehouse - การแปลงข้อมูล

การจัดการข้อมูลขาเข้า

Incremental Append

เพิ่มข้อมูลใหม่ทั้งหมดต่อท้ายตารางที่มีอยู่
```
INSERT INTO students 
TABLE visiting_students;
```

แผนภาพ Incremental Append

Change Data Capture (CDC)

รวมข้อมูลเข้ากับตารางที่มีอยู่

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

แผนภาพ CDC

การปรับปรุงประสิทธิภาพข้อมูล

OPTIMIZE

รวมข้อมูลส่วนย่อยเข้าด้วยกัน
ลดปัญหา "ไฟล์ขนาดเล็กจำนวนมาก"

Z-ORDER

คล้ายกับการทำ Index ในระบบฐานข้อมูล
จัดเก็บข้อมูลที่เกี่ยวข้องไว้ในไฟล์เดียวกัน
ช่วยลดเวลาในการอ่านข้อมูล

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

มาฝึกกันเถอะ!

Introduction to Databricks SQL