Încărcare

Introducere în Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Baze de date pentru analitice sau aplicații

Analitice

Pictogramă reprezentând analiticele

Interogări agregate
Procesare analitică online (OLAP)

Aplicații

Pictogramă reprezentând aplicațiile

Multe tranzacții
Procesare tranzacțională online (OLTP)

Orientare pe coloane și pe rânduri

Analitice

Orientat pe coloane

Exemplu de stocare orientată pe coloane

Interogări pe un subset de coloane
Paralelizare

Aplicații

Orientat pe rânduri

Exemplu de stocare orientată pe rânduri

Stocate per înregistrare
Adăugate per tranzacție
De exemplu, adăugarea unui client este rapidă

Baze de date MPP

Baze de date cu procesare masiv paralelă

Diagrama unei baze de date MPP

Amazon Redshift
Azure SQL Data Warehouse
Google BigQuery

Un exemplu: Redshift

Încarcă dintr-un fișier într-un format de stocare columnar

# Pandas .to_parquet() method
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...

Încarcă în PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")

Hai să exersăm!

Introducere în Data Engineering