กำลังโหลด

Data Engineering เบื้องต้น

Vincent Vankrunkelsven

Data Engineer @ DataCamp

ฐานข้อมูลสำหรับ Analytics หรือ Applications

Analytics

ไอคอนแทน Analytics

Aggregate queries
Online analytical processing (OLAP)

Applications

ไอคอนแทน Applications

ธุรกรรมจำนวนมาก
Online transaction processing (OLTP)

การจัดเก็บแบบคอลัมน์และแบบแถว

Analytics

เก็บข้อมูลแบบคอลัมน์

ตัวอย่างการจัดเก็บแบบคอลัมน์

คิวรีเฉพาะบางคอลัมน์
รองรับการประมวลผลแบบขนาน

Applications

เก็บข้อมูลแบบแถว

ตัวอย่างการจัดเก็บแบบแถว

จัดเก็บตามรายการ
เพิ่มข้อมูลตามธุรกรรม
เช่น การเพิ่มลูกค้าใหม่ทำได้รวดเร็ว

ฐานข้อมูล MPP

ฐานข้อมูลแบบ Massively Parallel Processing

แผนภาพฐานข้อมูล MPP

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

ตัวอย่าง: Redshift

โหลดจากไฟล์ไปยังรูปแบบการจัดเก็บแบบคอลัมน์

# Pandas .to_parquet() method
df.to_parquet("./s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("./s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

โหลดข้อมูลเข้า PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

มาฝึกกันเถอะ!

Data Engineering เบื้องต้น