Gefeliciteerd

Introductie tot Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Introductie tot data engineering

 

• Taken van een data engineer herkennen
• Welke tools ze gebruiken
• Cloudproviders

Data engineering-gereedschapskist

 

• Databases
• Parallelle computing & frameworks (Spark)
• Workflows plannen met Airflow

Extract, Transform en Load (ETL)

 

• Extract: data ophalen uit meerdere bronnen
• Transform: transformaties uitvoeren met parallelle computing
• Load: data laden in de doeldatabase

Casestudy: DataCamp

 

• Data ophalen uit meerdere bronnen
• Transformeren tot aanbevelingen
• Laden in de doeldatabase

Goed gedaan!

Introductie tot Data Engineering