Memuat

Pengantar Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Basis data analitik atau aplikasi

Analitik

Ikon yang merepresentasikan analitik

Kueri agregat
Online analytical processing (OLAP)

Aplikasi

Ikon yang merepresentasikan aplikasi

Banyak transaksi
Online transaction processing (OLTP)

Berorientasi kolom dan baris

Analitik

Berorientasi kolom

Contoh penyimpanan berorientasi kolom

Kueri pada subset kolom
Paralelisasi

Aplikasi

Berorientasi baris

Contoh penyimpanan berorientasi baris

Disimpan per rekaman
Ditambahkan per transaksi
Mis. menambahkan pelanggan itu cepat

Basis Data MPP

Basis Data Massively Parallel Processing

Diagram basis data MPP

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

Contoh: Redshift

Muat dari berkas ke format penyimpanan kolumnar

# Metode Pandas .to_parquet()
df.to_parquet("s3://path/to/bucket/customer.parquet")
# Metode PySpark .write.parquet()
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

Muat ke PostgreSQL

pandas.to_sql()

# Transformasi pada data
recommendations = transform_find_recommendatins(ratings_df)

# Muat ke basis data PostgreSQL
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

Ayo berlatih!

Pengantar Data Engineering