Inläsning

Introduktion till datatekniker

Vincent Vankrunkelsven

Data Engineer, DataCamp

Analys- eller applikationsdatabaser

Analys

Ikon som representerar analys

  • Aggregerade frågor
  • Onlineanalytisk bearbetning (OLAP)

Applikationer

Ikon som representerar applikationer

  • Många transaktioner
  • Onlinetransaktionsbearbetning (OLTP)
Introduktion till datatekniker

Kolumn- och radorienterad

Analys

  • Kolumnorienterad

Exempel på kolumnorienterad lagring

  • Frågor om delmängd av kolumner
  • Parallellisering

Applikationer

  • Radorienterad

Exempel på radorienterad lagring

  • Lagras per post
  • Läggs till per transaktion
  • T.ex. snabbt att lägga till kund
Introduktion till datatekniker

MPP-databaser

Massively Parallel Processing Databases

Diagram över MPP-databas

 

  • Amazon Redshift
  • Azure SQL Data Warehouse
  • Google BigQuery
Introduktion till datatekniker

Ett exempel: Redshift

Läs in från fil till kolumnbaserat lagringsformat

# Pandas .to_parquet() method
df.to_parquet("s3://path/to/bucket/customer.parquet")
# PySpark .write.parquet() method
df.write.parquet("s3://path/to/bucket/customer.parquet")

COPY customer
FROM 's3://path/to/bucket/customer.parquet'
FORMAT as parquet
...
Introduktion till datatekniker

Läs in till PostgreSQL

pandas.to_sql()

# Transformation on data
recommendations = transform_find_recommendatins(ratings_df)

# Load into PostgreSQL database
recommendations.to_sql("recommendations",
                       db_engine,
                       schema="store",
                       if_exists="replace")
Introduktion till datatekniker

Nu kör vi en övning!

Introduktion till datatekniker

Preparing Video For Download...