Traitement des données

Comprendre l'ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

pipeline de données

Comprendre l'ingénierie des données

déplacer les données vers le lac de données

Comprendre l'ingénierie des données

déplacer les données vers le lac de données

Comprendre l'ingénierie des données

vérifier la corruption des données

Comprendre l'ingénierie des données

Définition générale

  • Traitement des données : transformer des données brutes en information utile
Comprendre l'ingénierie des données

Valeur du traitement des données

Sur le plan conceptuel

  • Retirer les données non désirées
  • Optimiser la mémoire et les coûts de traitement et de réseau
  • Convertir les données d'un type à un autre

Chez Spotflix

  • Pas de besoin à long terme des données de test de fonctions
  • Impossible d'assumer le stockage et la diffusion de fichiers aussi gros
Comprendre l'ingénierie des données

pipeline de données

Comprendre l'ingénierie des données

pipeline de données

Comprendre l'ingénierie des données

pipeline de données

Comprendre l'ingénierie des données

Valeur du traitement des données

Sur le plan conceptuel

  • Retirer les données non désirées
  • Pour économiser la mémoire
  • Convertir les données d'un type à un autre
  • Organiser les données
  • Pour respecter un schéma/une structure
  • Accroître la productivité

Chez Spotflix

  • Pas besoin de format sans perte
  • Impossible d'entreposer des fichiers aussi gros
  • Convertir les chansons de .flac à .ogg
  • Réorganiser les données du lac de données vers des entrepôts
  • Exemple de table des employés
  • Outiller les data scientists
Comprendre l'ingénierie des données

Comment les ingénieurs de données traitent les données

  • Tâches de manipulation, de nettoyage et de mise en ordre
    • automatisables
    • toujours nécessaires
  • Stocker les données dans une base bien structurée
  • Créer des vues au‑dessus des tables
  • Optimiser le rendement de la base de données
  • Rejeter les fichiers de chansons corrompus
  • Décider quoi faire des métadonnées manquantes
  • Séparer les tables artistes et albums…
  • …mais fournir une vue qui les combine
  • Indexation
Comprendre l'ingénierie des données

1 La différence entre le traitement par lot et en continu sera expliquée à la prochaine leçon !
Comprendre l'ingénierie des données

logo Apache Spark

Comprendre l'ingénierie des données

Résumé

  • Ce qu'est le traitement des données
  • Pourquoi il est nécessaire
  • En quoi il consiste
  • Comment nous traitons les données chez Spotflix
Comprendre l'ingénierie des données

Passons à la pratique !

Comprendre l'ingénierie des données

Preparing Video For Download...