Planification des données

Comprendre l'ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

Planification

• S'applique à toute tâche du traitement des données
• La planification est la colle de votre système
• Elle maintient chaque pièce et organise leur interaction
• Exécute les tâches dans un ordre précis et règle toutes les dépendances

Planification manuelle, horaire et par capteur

• Manuellement

• Mettre à jour manuellement la table des employés

Planification manuelle, horaire et par capteur

• Manuellement
• Exécution automatique à une heure précise
• Exécution automatique si une condition est remplie
  • Planification par capteur

• Mettre à jour manuellement la table des employés
• Mettre à jour la table des employés à 6 h

Planification manuelle, horaire et par capteur

• Manuellement
• Exécution automatique à une heure précise
• Exécution automatique si une condition est remplie
  • Planification par capteur

• Mettre à jour manuellement la table des employés
• Mettre à jour la table des employés à 6 h
• Mettre à jour les tables des services si une nouvelle personne est ajoutée

Lots et flux

• Lots
  • Regrouper des enregistrements par intervalles
  • Souvent moins coûteux
• Flux
  • Envoyer les enregistrements individuellement, sur-le-champ

• Chansons téléversées par les artistes
• Table des employés
• Table des revenus
• Nouveaux utilisateurs qui se connectent
• Autre exemple : écoute en ligne vs hors ligne

Outils de planification

Résumé

• Ce qu'est la planification
• Différentes façons de la configurer
• Différence entre lots et flux
• Mise en œuvre de la planification chez Spotflix
• Airflow, Luigi

Passons à la pratique !

Comprendre l'ingénierie des données