Félicitations

Introduction au data engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Introduction au data engineering

 

• Identifier les tâches d’un data engineer
• Les outils qu’il utilise
• Fournisseurs de services cloud

Boîte à outils du data engineer

 

• Bases de données
• Calcul parallèle et frameworks (Spark)
• Orchestration de workflows avec Airflow

Extract, Load and Transform (ETL)

 

• Extract: récupérer des données de plusieurs sources
• Transform: transformer via calcul parallèle
• Load: charger dans la base cible

Étude de cas : DataCamp

 

• Récupérer des données de multiples sources
• Transformer pour produire des recommandations
• Charger dans la base cible

Bien joué !

Introduction au data engineering