Strumenti del data engineer

Introduzione al Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Database

Immagine di un database

Entità prodotto semplice

Immagine che rappresenta l'elaborazione parallela

df = spark.read.parquet("users.parquet")

outliers = df.filter(df["age"] > 100)

print(outliers.count())

Il/La data engineer comprende le astrazioni.

Diagramma di job di pulizia e join

JoinProductOrder deve essere eseguito dopo CleanProduct e CleanOrder

Database

Logo MySQL

Logo PostgreSQL

Elaborazione

Logo Spark

Logo Hive

Scheduling

Logo Airflow

Tux, il pinguino Linux

Immagine di un esempio di data pipeline

Introduzione al Data Engineering