Laden

Introductie tot Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Analytics- of applicatiedatabases

Analytics

Pictogram dat analytics voorstelt

Geaggregeerde queries
Online Analytical Processing (OLAP)

Applicaties

Pictogram dat applicaties voorstelt

Veel transacties
Online Transaction Processing (OLTP)

Kolom- en rijgeoriënteerd

Analytics

Kolomgeoriënteerd

Voorbeeld van kolomgeoriënteerde opslag

Queries op subset van kolommen
Parallelisatie

Applicaties

Rijgeoriënteerd

Voorbeeld van rijgeoriënteerde opslag

Per record opgeslagen
Per transactie toegevoegd
Bijv. klant toevoegen is snel

MPP-databases

Massively Parallel Processing-databases

Diagram van MPP-database

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

Een voorbeeld: Redshift

Laden van bestand naar kolomvormige opslagindeling

# Pandas .to_parquet()-methode
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet()-methode
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

Laden naar PostgreSQL

pandas.to_sql()

# Transformatie op data
recommendations = transform_find_recommendatins(ratings_df)

# Laden in PostgreSQL-database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

Laten we oefenen!

Introductie tot Data Engineering