Planification de données

Présentation de l’ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

Planification

• Peut s'appliquer à toute tâche répertoriée dans le traitement des données
• La planification est le ciment de votre système
• Tient chaque pièce et organise la façon dont elles fonctionnent ensemble
• Exécute les tâches dans un ordre spécifique et résout toutes les dépendances

Programmation manuelle, horaire et par capteur

• Manuellement

• Mise à jour manuelle de la table des employés

Programmation manuelle, horaire et par capteur

• Manuellement
• Exécution automatique à une heure donnée
• Exécution automatique si une condition spécifique est remplie
  • Programmation des capteurs

• Mise à jour manuelle de la table des employés
• Mise à jour de la table des employés à 6 heures

Programmation manuelle, horaire et par capteur

• Manuellement
• Exécution automatique à une heure donnée
• Exécution automatique si une condition spécifique est remplie
  • Programmation des capteurs

• Mise à jour manuelle de la table des employés
• Mise à jour de la table des employés à 6 heures
• Mise à jour des tables des départements si un nouveau salarié a été ajouté

Lots et flux

• Lots
  • Enregistrements groupés à intervalles
  • Souvent moins cher
• Flux
  • Envoie immédiatement les dossiers individuels

• Chansons téléchargées par des artistes
• Table des employés
• Table des revenus
• Nouveaux utilisateurs s'inscrivant
• Autre exemple : écoute en ligne ou hors ligne

Outils de planification

Résumé

• Qu'est-ce que la planification ?
• Différentes façons de la mettre en place
• Différence entre les lots et les flux
• Comment la planification est mise en œuvre chez Spotflix
• Airflow, Luigi

Passons à la pratique !

Présentation de l’ingénierie des données