読み込み

データエンジニアリング入門

Vincent Vankrunkelsven

Data Engineer, DataCamp

分析用データベースとアプリケーション用データベース

分析

分析を表すアイコン

集計クエリ
オンライン分析処理（OLAP）

アプリケーション

アプリケーションを表すアイコン

多数のトランザクション
オンライントランザクション処理（OLTP）

列指向と行指向

分析

列指向

列指向ストレージの例

列の一部に対するクエリ
並列処理

アプリケーション

行指向

行指向ストレージの例

レコード単位で保存
トランザクションごとに追加
例：顧客の追加が高速

MPP データベース

大規模並列処理データベース

MPPデータベースの図

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

例：Redshift

ファイルから列形式ストレージへ読み込む

# Pandas .to_parquet() method
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

PostgreSQL への読み込み

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

練習しましょう！

データエンジニアリング入門