Traitement des données

Présentation de l’ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

pipeline de données

transfert des données vers le data lake

vérification des données corrompues

Une définition générale

Traitement des données : conversion des données {{1}}brutes en informations significatives

Valeur du traitement des données

Conceptuellement Supprimer les données indésirables

Chez Spotflix Pas de besoin à long terme de tester les données des caractéristiques

pipeline de données

Valeur du traitement des données

Conceptuellement Supprimer les données indésirables Pour préserver la mémoire Convertir des données d'un type à un autre Organiser les données

Chez Spotflix Pas besoin de format sans perte Impossible de stocker des fichiers aussi volumineux Convertir des chansons de .flac à .ogg Réorganiser les données du lac de données vers les entrepôts de données

Comment les ingénieurs traitent les données

Tâches de manipulation, de nettoyage et de rangement des données

Rejeter les fichiers de chansons corrompus

¹ La différence entre les lots et les flux sera expliquée dans la prochaine leçon !

Logo Apache Spark

Récapitulatif

Qu'est-ce que le traitement des données ?

Passons à la pratique !

Présentation de l’ingénierie des données