Valeurs manquantes

Analytique prédictive intermédiaire en Python

Nele Verbiest

Senior Data Scientist @PythonPredictions

Remplacer des valeurs manquantes par un agrégat (1)

donor_id	âge
5	-
3	25
2	36
8	40
1	26

Remplacer des valeurs manquantes par un agrégat (2)

donor_id	âge
5	38
3	25
2	36
8	40
1	26

Âge moyen : 38

Remplacer des valeurs manquantes par un agrégat (3)

donor_id	don_max
5	-
3	1 000 000
2	100
8	40
1	120

Moyenne de max_donation : 25 065

Médiane de max_donation : 110

Remplacer des valeurs manquantes par un agrégat (4)

donor_id	don_max
5	110
3	1 000 000
2	100
8	40
1	120

Moyenne de max_donation : 25 065

Médiane de max_donation : 110

Remplacer des valeurs manquantes par une valeur fixe (1)

donor_id	total_dons
5	130
3	10
2	-
8	40
1	120

Remplacer des valeurs manquantes par une valeur fixe (2)

donor_id	total_dons
5	130
3	10
2	0
8	40
1	120

Remplacer des valeurs manquantes en Python

# Remplacer les valeurs manquantes par 0
replacement = 0
basetable["donations_last_year"] = 
    basetable["donations_last_year"].fillna(replacement)

# Remplacer les valeurs manquantes par la moyenne
replacement = basetable["age"].mean()
basetable["age"] = basetable["age"].fillna(replacement)

Indicateurs de valeurs manquantes

    donor_id email
0     32770  [email protected]
1     32776  nan
2     32777  [email protected]
3     65552  nan

basetable["no_email"] = pd.Series(
                            [0 if email==email else 1 
                            for email in basetable["email"]])

      donor_id email                    no_email
0     32770  [email protected]   0
1     32776  nan                        1
2     32777  [email protected]   0
3     65552  nan                        1

Passons à la pratique !

Analytique prédictive intermédiaire en Python