Félicitations

Introduction à l'ingénierie des données

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Introduction à l'ingénierie des données

 

• Repérer les tâches d'un ingénieur de données
• Les outils qu'il utilise
• Fournisseurs de services infonuagiques

Boîte à outils de l'ingénierie des données

 

• Bases de données
• Calcul parallèle et cadres (Spark)
• Orchestration de flux avec Airflow

Extraire, Transformer et Charger (ETL)

 

• Extraire : obtenir des données de plusieurs sources
• Transformer : appliquer des transformations en calcul parallèle
• Charger : charger les données dans la base cible

Étude de cas : DataCamp

 

• Récupérer des données de sources multiples
• Transformer pour produire des recommandations
• Charger dans la base de données cible

Beau travail !

Introduction à l'ingénierie des données