Félicitations

Introduction au data engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Introduction au data engineering

 

• Identifier les missions d'un data engineer
• Les outils qu'ils utilisent
• Fournisseurs de services cloud

Boîte à outils du data engineering

 

• Bases de données
• Calcul parallèle et frameworks (Spark)
• Orchestration de workflows avec Airflow

Extract, Transform and Load (ETL)

 

• Extract : récupérer des données de plusieurs sources
• Transform : appliquer des transformations en calcul parallèle
• Load : charger les données dans la base cible

Étude de cas : DataCamp

 

• Récupérer des données de multiples sources
• Transformer pour créer des recommandations
• Charger dans la base de destination

Beau travail !

Introduction au data engineering