Încărcare

Introducere în Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Baze de date pentru analiză sau aplicații

Analiză

Pictogramă reprezentând analiza

  • Interogări agregate
  • Procesare analitică online (OLAP)

Aplicații

Pictogramă reprezentând aplicațiile

  • Multe tranzacții
  • Procesare tranzacțională online (OLTP)
Introducere în Data Engineering

Orientare pe coloane și pe rânduri

Analiză

  • Orientată pe coloane

Exemplu de stocare orientată pe coloane

  • Interogări pe un subset de coloane
  • Paralelizare

Aplicații

  • Orientată pe rânduri

Exemplu de stocare orientată pe rânduri

  • Stocată per înregistrare
  • Adăugată per tranzacție
  • Ex.: adăugarea unui client este rapidă
Introducere în Data Engineering

Baze de date MPP

Baze de date cu procesare masiv paralelă

Diagramă bază de date MPP

 

  • Amazon Redshift
  • Azure SQL Data Warehouse
  • Google BigQuery
Introducere în Data Engineering

Exemplu: Redshift

Încărcare din fișier în format de stocare columnar

# Pandas .to_parquet() method
df.to_parquet("./s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("./s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...
Introducere în Data Engineering

Încărcare în PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")
Introducere în Data Engineering

Să exersăm!

Introducere în Data Engineering

Preparing Video For Download...