Laddar

Introduktion till datatekniker

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Analys- eller applikationsdatabaser

Analys

Ikon som representerar analys

  • Aggregerade frågor
  • Analytisk onlinebearbetning (OLAP)

Applikationer

Ikon som representerar applikationer

  • Många transaktioner
  • Transaktionell onlinebearbetning (OLTP)
Introduktion till datatekniker

Kolumn- och radorienterad

Analys

  • Kolumnorienterad

Exempel på kolumnorienterad lagring

  • Frågor om en delmängd kolumner
  • Parallellisering

Applikationer

  • Radorienterad

Exempel på radorienterad lagring

  • Lagras per post
  • Läggs till per transaktion
  • T.ex. att lägga till en kund går snabbt
Introduktion till datatekniker

MPP-databaser

Massivt parallella bearbetningsdatabaser

Diagram över MPP-databas

 

  • Amazon Redshift
  • Azure SQL Data Warehouse
  • Google BigQuery
Introduktion till datatekniker

Ett exempel: Redshift

Läs in från fil till kolumnbaserat lagringsformat

# Pandas .to_parquet() method
df.to_parquet("./s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("./s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...
Introduktion till datatekniker

Läs in i PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")
Introduktion till datatekniker

Nu kör vi en övning!

Introduktion till datatekniker

Preparing Video For Download...