Préparation des données

Comprendre la science des données

Hadrien Lacroix

Content Developer, DataCamp

Flux de données

flux de travail Data Science

Comprendre la science des données

Pourquoi préparer les données ?

  • Les données réelles sont complexes
  • La préparation est effectuée afin d’éviter :
    • erreurs
    • résultats incorrects
    • algorithmes de biais

préparation de la soupe

Comprendre la science des données

Commençons le nettoyage

Sara Lis Hadrien Lis
Âge "27" "30" "30"
Taille 1,77 5,58 1,80 5,58
Pays "Belgique" "États-Unis" "FR" "États-Unis"

scraper-cleaning-window

Comprendre la science des données

Données ordonnées

Avant

$$

Sara Lis Hadrien Lis
Âge "27" "30" "30"
Taille 1,77 5,58 1,80 5,58
Pays "Belgique" "États-Unis" "FR" "États-Unis"

folded-laundry

Comprendre la science des données

Résultat de données organisé

Avant

$$

Sara Lis Hadrien Lis
Âge "27" "30" "30"
Taille 1,77 5,58 1,80 5,58
Pays "Belgique" "États-Unis" "FR" "États-Unis"

Après

$$

Nom Âge Taille Pays
Sara "26" 1,78 "Belgique"
Lis "30" 5,58 "USA"
Hadrien 1,80 "FR"
Lis "30" 5,58 "USA"
Comprendre la science des données

Supprimer les doublons

Avant

$$

Nom Âge Taille Pays
Sara "27" 1,77 "Belgique"
Lis "30" 5,58 "USA"
Hadrien 1,80 "FR"
Lis "30" 5,58 "USA"

double-cherry

Comprendre la science des données

Supprimer les doublons | résultat

Avant

$$

Nom Âge Taille Pays
Sara "27" 1,77 "Belgique"
Lis "30" 5,58 "USA"
Hadrien 1,80 "FR"
Lis "30" 5,58 "USA"

Après

$$

Nom Âge Taille Pays
Sara "27" 1,77 "Belgique"
Lis "30" 5,58 "USA"
Hadrien 1,80 "FR"
Comprendre la science des données

Identifiant unique

Avant

$$

Nom Âge Taille Pays
Sara "27" 1,77 "Belgique"
Lis "30" 5,58 "USA"
Hadrien 1,80 "FR"

canard-violet-avec-des-canards-jaunes

Comprendre la science des données

Identifiant unique | résultat

Avant

$$

Nom Âge Taille Pays
Sara "27" 1,77 "Belgique"
Lis "30" 5,58 "USA"
Hadrien 1,80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "Belgique"
1 Lis "30" 5,58 "USA"
2 Hadrien 1,80 "FR"
Comprendre la science des données

Homogénéité

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "Belgique"
1 Lis "30" 5,58 "USA"
2 Hadrien 1,80 "FR"

petit poisson rouge face à grand poisson rouge

Comprendre la science des données

Homogénéité | résultat

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "Belgique"
1 Lis "30" 5,58 "USA"
2 Hadrien 1,80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "Belgique"
1 Lis "30" 1,70 "USA"
2 Hadrien 1,80 "FR"
Comprendre la science des données

Homogénéité, encore

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "Belgique"
1 Lis "30" 1,70 "USA"
2 Hadrien 1,80 "FR"

drapeau belge

Comprendre la science des données

Homogénéité, encore | résultat

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "Belgique"
1 Lis "30" 1,70 "US"
2 Hadrien 1,80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "US"
2 Hadrien 1,80 "FR"
Comprendre la science des données

Types de données

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "US"
2 Hadrien 1,80 "FR"

différents-types-de-pâtes

Comprendre la science des données

Types de données | résultat

Avant

$$

ID Nom Âge Taille Pays
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "US"
2 Hadrien 1,80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "US"
2 Hadrien 1,80 "FR"
Comprendre la science des données

Valeurs manquantes

Avant

$$

ID Nom Âge Taille Pays
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "US"
2 Hadrien 1,80 "FR"

Raisons :

  • saisie des données
  • erreur
  • valeur manquante valide

Solutions :

  • imputer
  • couper
  • garder
Comprendre la science des données

Valeurs manquantes | résultat

Avant

$$

ID Nom Âge Taille Pays
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "USA"
2 Hadrien 1,80 "FR"

Après

$$

ID Nom Âge Taille Pays
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "US"
2 Hadrien 28 1,80 "FR"
Comprendre la science des données

Passons à la pratique !

Comprendre la science des données

Preparing Video For Download...