Pipelines de données

Comprendre la science des données

Sara Billen

Curriculum Manager

$$ Collecte et stockage des données à partir d'une source

$$ Collecte et ingestion des données avec trois sources

Plus d'une source de données :

Types de données variés :

Qu'est-ce qu'un pipeline de données ?

Fait passer les données par des étapes définies
Collecte et stockage automatisés
- Planifié à l'heure, au jour, à la semaine, etc.
- Déclenché par un événement
Suivi avec alertes générées
Indispensable pour les projets de mégadonnées
Les ingénieurs de données personnalisent les solutions
Extract Transform Load (ETL)

Pipeline de données

Données	Source	Fréquence
Conditions météo	National Weather Service API	Toutes les 30 min
Tweets dans votre secteur	Twitter API	Flux en temps réel
Température intérieure	Thermostat intelligent	Toutes les 5 min
État des lumières	Ampoules intelligentes	Chaque minute
État des verrous	Verrous intelligents	Toutes les 15 s
Consommation d'énergie	Compteur intelligent	Hebdomadaire

Phase d'extraction

Phase de chargement

$$ Exemples de transformations :

La préparation et l'exploration des données ne se font pas à cette étape

Phase de transformation

Comprendre la science des données