Qu’est-ce que l’ingénierie des données ?

Introduction au data engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

À quoi s’attendre

Chapitre 1
- Qu’est-ce que l’ingénierie des données ?
Chapitre 2
- Outils des data engineers
Chapitre 3
- Extract
- Transform
- Load
Chapitre 4
- L’ingénierie des données chez DataCamp !

Arrive le data engineer

Les données sont éparpillées
Non optimisées pour l’analyse
Du code legacy corrompt les données

Le data engineer à la rescousse !

Ingénieure

Schéma de base de données représentant des données éparpillées

Image représentant une erreur informatique

Data engineers : vous simplifier la vie

Rassembler les données de sources variées
Base optimisée pour l’analyse
Données corrompues supprimées

La vie du data scientist est bien plus simple !

Schéma représentant l’ingestion de données

Définition du métier

Un ingénieur qui conçoit, construit, teste et maintient des architectures telles que des bases de données et des systèmes de traitement à grande échelle

Traitement de gros volumes de données
Utilisation de clusters de machines

Data Engineer vs Data Scientist

Data Engineer

Concevoir des architectures de données évolutives
Rationaliser l’acquisition des données
Mettre en place des processus pour réunir les données
Nettoyer les données corrompues
Maîtriser le cloud

Data Scientist

Explorer les données pour trouver des motifs
Modélisation statistique
Modèles prédictifs via le machine learning
Suivre les processus métier
Nettoyer les valeurs aberrantes

Passons à la pratique !

Introduction au data engineering