Načítání

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Databáze pro analytiku nebo aplikace

Analytika

Ikona znázorňující analytiku

  • Agregační dotazy
  • Online analytické zpracování (OLAP)

Aplikace

Ikona znázorňující aplikace

  • Velké množství transakcí
  • Online zpracování transakcí (OLTP)
Introduction to Data Engineering

Sloupcová a řádková orientace

Analytika

  • Sloupcově orientované

Příklad sloupcově orientovaného úložiště

  • Dotazy na podmnožinu sloupců
  • Paralelizace

Aplikace

  • Řádkově orientované

Příklad řádkově orientovaného úložiště

  • Ukládáno po záznamech
  • Přidáváno po transakcích
  • Např. přidání zákazníka je rychlé
Introduction to Data Engineering

MPP databáze

Databáze s masivně paralelním zpracováním

Diagram MPP databáze

 

  • Amazon Redshift
  • Azure SQL Data Warehouse
  • Google BigQuery
Introduction to Data Engineering

Příklad: Redshift

Načtení ze souboru do sloupcového formátu úložiště

# Pandas .to_parquet() method
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...
Introduction to Data Engineering

Načtení do PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")
Introduction to Data Engineering

Pojďme cvičit!

Introduction to Data Engineering

Preparing Video For Download...