Pipeline de données

Présentation de l’ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

Si les données sont le nouveau pétrole…

¹ The Economist, 2017-05-06, par David Parkins

Retour à l'ingénierie des données

• Ingestion
• Processus
• Stockage
• Besoin de pipelines
• Automatisation du flux d'une station à l'autre
• Transmission de données actualisées, précises et pertinentes

$$

Les pipelines de données assurent un flux efficace des données.

Automatisation

• Extraction
• Transformation
• Regroupement
• Validation
• Chargement

Réduction

• Intervention humaine
• Erreurs
• Temps de circulation des données

ETL et pipelines de données

ETL

• Cadre populaire pour la conception de pipelines de données
• 1) Extraire des données
• 2) Transformer les données extraites
• 3) Charger les données transformées dans une autre base de données

Pipelines de données

• Déplacer des données d'un système à un autre
• Peut suivre l'ETL
• Les données peuvent ne pas être transformées
• Les données peuvent être chargées directement dans les applications

Résumé

• Qu'est-ce qu'un pipeline de données ?
• À quoi il sert
• Pourquoi il est important
• Comment les pipelines de données sont mis en œuvre chez Spotflix
• Qu'est-ce que l'ETL et quelles sont ses nuances ?

Passons à la pratique !

Présentation de l’ingénierie des données