Le pipeline de données

Comprendre l'ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

Si les données sont le nouveau pétrole…

¹ The Economist, 2017-05-06, par David Parkins

Retour à l'ingénierie des données

• Ingestion
• Traitement
• Stockage
• Besoin de pipelines
• Automatiser le flux d'une étape à l'autre
• Offrir des données à jour, exactes et pertinentes

$$

Les pipelines assurent un flux de données efficace

Automatiser

• Extraction
• Transformation
• Combinaison
• Validation
• Chargement

Réduire

• L'intervention humaine
• Les erreurs
• Le temps d'écoulement des données

ETL et pipelines de données

ETL

• Cadre populaire pour concevoir des pipelines
• 1) Extraire les données
• 2) Transformer les données extraites
• 3) Charger les données transformées dans une autre base

Pipelines de données

• Déplacer les données d'un système à l'autre
• Peuvent suivre l'ETL
• Les données peuvent ne pas être transformées
• Les données peuvent être chargées directement dans des applications

Résumé

• Ce qu'est un pipeline de données
• Ce qu'il fait
• Pourquoi c'est important
• Comment Spotflix met en œuvre ses pipelines
• Ce qu'est l'ETL et ses nuances

Passons à la pratique !

Comprendre l'ingénierie des données