Planification de données

Présentation de l’ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

Planification

Peut s'appliquer à toute tâche répertoriée dans le traitement des données

Programmation manuelle, horaire et par capteur

Manuellement

Mise à jour manuelle de la table des employés

pipeline de données

image showing a clock - the employees table is updated every morning at 6 AM

Programmation manuelle, horaire et par capteur

Manuellement
Exécution automatique à une heure donnée Exécution automatique si une condition spécifique est remplie

Mise à jour manuelle de la table des employés Mise à jour de la table des employés à 6 heures

Pipeline de données

image montrant un capteur écoutant la table employees avant de diviser en départements

Programmation manuelle, horaire et par capteur

Manuellement
Exécution automatique à une heure donnée Exécution automatique si une condition spécifique est remplie Programmation des capteurs

Mise à jour manuelle de la table des employés Mise à jour de la table des employés à 6 heures Mise à jour des tables des départements si un nouveau salarié a été ajouté

Lots et flux

Lots

Chansons téléchargées par des artistes

Outils de planification

logos airflow et luigi

Récapitulatif

Qu'est-ce que la planification ?

Passons à la pratique !

Présentation de l’ingénierie des données