Préparation des données

Comprendre la science des données

Hadrien Lacroix

Content Developer, DataCamp

Flux de données

flux de travail en science des données

Comprendre la science des données

Pourquoi préparer les données ?

  • Les données réelles sont désordonnées
  • On prépare pour éviter :
    • des erreurs
    • des résultats inexacts
    • de biaiser les algorithmes

préparer une soupe

Comprendre la science des données

Commençons le nettoyage

Sara Lis Hadrien Lis
Âge "27" "30" "30"
Taille 1.77 5.58 1.80 5.58
Pays "Belgium" "USA" "FR" "USA"

grattoir-nettoyant-une-fenêtre

Comprendre la science des données

Données ordonnées

Avant

$$

Sara Lis Hadrien Lis
Âge "27" "30" "30"
Taille 1.77 5.58 1.80 5.58
Pays "Belgium" "USA" "FR" "USA"

linge plié

Comprendre la science des données

Sortie : données ordonnées

Avant

$$

Sara Lis Hadrien Lis
Âge "27" "30" "30"
Taille 1.77 5.58 1.80 5.58
Pays "Belgium" "USA" "FR" "USA"

Après

$$

Nom Âge Taille Pays
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
Comprendre la science des données

Supprimer les doublons

Avant

$$

Nom Âge Taille Pays
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

cerises jumelles

Comprendre la science des données

Supprimer les doublons | sortie

Avant

$$

Nom Âge Taille Pays
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

Après

$$

Nom Âge Taille Pays
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Comprendre la science des données

Identifiant unique

Avant

$$

Nom Âge Taille Pays
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

canard mauve avec des canards jaunes

Comprendre la science des données

Identifiant unique | sortie

Avant

$$

Nom Âge Taille Pays
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
Comprendre la science des données

Homogénéité

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

petit poisson rouge face à un grand poisson rouge

Comprendre la science des données

Homogénéité | sortie

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
Comprendre la science des données

Homogénéité, encore

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

drapeau belge

Comprendre la science des données

Homogénéité, encore | sortie

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
Comprendre la science des données

Types de données

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

différents types de pâtes

Comprendre la science des données

Types de données | sortie

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
Comprendre la science des données

Valeurs manquantes

Avant

$$

ID Nom Âge Taille Pays
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

Raisons :

  • saisie de données
  • erreur
  • valeur manquante valide

Solutions :

  • imputer
  • supprimer
  • conserver
Comprendre la science des données

Valeurs manquantes | sortie

Avant

$$

ID Nom Âge Taille Pays
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
Comprendre la science des données

Passons à la pratique !

Comprendre la science des données

Preparing Video For Download...