載入

Data Engineering 入門

Vincent Vankrunkelsven

Data Engineer, DataCamp

分析或應用導向的資料庫

分析

代表分析的圖示

彙總查詢
線上分析處理（OLAP）

應用

代表應用的圖示

大量交易
線上交易處理（OLTP）

欄式與列式

分析

欄式導向

欄式儲存範例

查詢欄位子集
可平行化

應用

列式導向

列式儲存範例

逐筆儲存
逐筆交易新增
例如新增客戶很快

MPP 資料庫

大規模平行處理資料庫

MPP 資料庫示意圖

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

範例：Redshift

從檔案載入為欄式儲存格式

# Pandas .to_parquet() method
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

載入至 PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

一起來練習吧！

Data Engineering 入門