加载

Data Engineering 入门

Vincent Vankrunkelsven

Data Engineer, DataCamp

分析库 vs 应用库

分析

表示分析的图标

聚合查询
联机分析处理（OLAP）

应用

表示应用的图标

海量事务
联机事务处理（OLTP）

列式与行式

分析

列式存储

列式存储示例

查询少量列
易于并行化

应用

行式存储

行式存储示例

按记录存放
按事务新增
例如添加客户很快

MPP 数据库

大规模并行处理数据库

MPP 数据库示意图

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

示例：Redshift

从文件加载为列式存储格式

# Pandas .to_parquet() method
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

加载到 PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

让我们一起练习吧！

Data Engineering 入门