Nettoyage des données

Concepts liés à l'entreposage de données

Aaren Stubberfield

Data Scientist

Plan de la vidéo

• Révision du format des données
• Analyse des adresses
• Validation des données
• Élimination des doublons

Nettoyage du format des données

• Mettre à jour selon le format prévu
  • Dates
  • Noms d'options
  • Majuscules/minuscules
• Assure une sortie au format uniforme

Exemple : données de taxi

Analyse d'adresse

• Diviser une adresse civique en composantes
• Outils possibles pour valider les adresses

Adresse
1234 S Normal St, Cleveland, OH 44102

Adresse	Ville	État	Code postal
1234 S Normal St	Cleveland	OH	44102

Validation des données

• Vérification d'intervalle
  • La valeur est-elle dans l'intervalle attendu ?
  • Exemple : âge d'une personne

• Vérification de type
  • La valeur est-elle du bon type ?
  • Exemple : âge stocké en texte vs nombre

Élimination des lignes en double

• Ce processus élimine les entrées en double

Gouvernance des données

Passons à la pratique !

Concepts liés à l'entreposage de données