Pipelines de données

Comprendre la science des données

Sara Billen

Curriculum Manager

$$ Collecte et ingestion de données avec une seule source

$$ Collecte et ingestion de données avec trois sources

Plusieurs sources de données :

Différents types de données :

Qu'est-ce qu'un pipeline de données ?

Déplace les données vers des étapes définies
Collecte et stockage automatisés
- Programmé toutes les heures, tous les jours, toutes les semaines, etc.
- Déclenché par un événement
Surveillé à l'aide d'alertes générées
Indispensable pour les projets Big Data
Les ingénieurs de données travaillent à la personnalisation des solutions
Extract Transform Load (ETL)

Pipeline de données

Données	Source	Fréquence
Conditions météorologiques	API du Service météorologique national	Toutes les 30 minutes
Tweets dans votre région	API Twitter	Flux en temps réel
Température intérieure	Thermostat intelligent pour maison connectée	Toutes les 5 minutes
État des lumières	Ampoules connectées	Chaque minute
État des serrures	Serrures de porte intelligentes	Toutes les 15 secondes
Consommation d’énergie	Compteur intelligent	Hebdomadaire

Phase d’extraction

Source	Fréquence
API météo nationale	Toutes les 30 minutes
API Twitter	flux en temps réel
Thermostat intelligent pour maison	Toutes les 5 minutes
Ampoules connectées	Chaque minute
Serrures de porte intelligentes	Toutes les 15 secondes
Compteur intelligent	Hebdomadaire

Phase de chargement

$$ Exemples de transformations :

Regroupement de sources de données en un seul ensemble de données
Conversion de structures de données pour les adapter aux schémas de bases de données
Suppression des données non pertinentes

La préparation et l'exploration des données n'ont pas lieu à ce stade

Phase de chargement

Automatiser

Comprendre la science des données