Načítání

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Analytické nebo aplikační databáze

Analytika

Ikona představující analytiku

  • Agregační dotazy
  • Online analytické zpracování (OLAP)

Aplikace

Ikona představující aplikace

  • Velké množství transakcí
  • Online transakční zpracování (OLTP)
Introduction to Data Engineering

Sloupcová a řádková orientace

Analytika

  • Sloupcová orientace

Příklad sloupcového úložiště

  • Dotazy na podmnožinu sloupců
  • Paralelizace

Aplikace

  • Řádková orientace

Příklad řádkového úložiště

  • Uloženo po záznamech
  • Přidáváno po transakcích
  • Např. přidání zákazníka je rychlé
Introduction to Data Engineering

MPP databáze

Databáze s masivně paralelním zpracováním

Diagram MPP databáze

 

  • Amazon Redshift
  • Azure SQL Data Warehouse
  • Google BigQuery
Introduction to Data Engineering

Příklad: Redshift

Načtení souboru do sloupcového formátu

# Pandas .to_parquet() method
df.to_parquet("./s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("./s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...
Introduction to Data Engineering

Načtení do PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")
Introduction to Data Engineering

Pojďme procvičovat!

Introduction to Data Engineering

Preparing Video For Download...