Gérer les données manquantes
Remanier des données avec pandas
Maria Eugenia Inzaugarat
Data Scientist
Révision
- Empiler et dépiler des DataFrames :
- Tous les niveaux d'index des colonnes
- Un niveau d'index des lignes
- Choisir quels niveaux empiler ou dépiler
Le dépilage entraîne des valeurs manquantes
Les sous-groupes n'ont pas le même ensemble d'étiquettes
animals
jump run fly
class order name
Mammalia carnivora dog No Yes No
Diprotodontia Kangaroo Yes No No
Aves hervibora bird No No Yes
Le dépilage entraîne des valeurs manquantes
Les sous-groupes n'ont pas le même ensemble d'étiquettes
animals
jump run fly
class order name
Mammalia carnivora dog No Yes No <--
Diprotodontia Kangaroo Yes No No
Aves hervibora bird No No Yes
Le dépilage entraîne des valeurs manquantes
Les sous-groupes n'ont pas le même ensemble d'étiquettes
animals.unstack(level='class')
jump run fly
clas Aves Mammalia Aves Mammalia Aves Mammalia
order name
Diprotodontia Kangaroo NaN Yes NaN No NaN No
carnivora Dog NaN No NaN Yes NaN No
Charadriiformes Avocet No NaN No NaN Yes NaN
Le dépilage entraîne des valeurs manquantes
Les sous-groupes n'ont pas le même ensemble d'étiquettes
animals.unstack(level='class')
jump run fly
clas Aves Mammalia Aves Mammalia Aves Mammalia
order name
Diprotodontia Kangaroo NaN Yes NaN No NaN No
-----------------------------
carnivora Dog NaN <-- No NaN Yes NaN No
-----------------------------
Charadriiformes Avocet No NaN No NaN Yes NaN
Gérer NaN avec unstack
animals.unstack(level='class', fill_value= )
Gérer NaN avec unstack
animals.unstack(level='class', fill_value='No')
Gérer NaN avec unstack
animals.unstack(level='class', fill_value='No').sort_index(level=['order', 'name'], ascending=[True, False])
jump run fly
clas Aves Mammalia Aves Mammalia Aves Mammalia
order name
Diprotodontia Kangaroo No Yes No No No No
carnivora Dog No No No Yes No No
Charadriiformes Avocet No No No No Yes No
Empiler et valeurs manquantes
Des combinaisons d'index et de colonnes manquent dans le DataFrame d'origine
flowers
petals Stigma
number size
rose 40 NaN
Lily 8 5
Empiler et valeurs manquantes
Des combinaisons d'index et de colonnes manquent dans le DataFrame d'origine
flowers.stack()
Stigma petals
rose number NaN 40.0
Lily number NaN 8.0
size 5 NaN
Empiler et valeurs manquantes
Des combinaisons d'index et de colonnes manquent dans le DataFrame d'origine
flowers.stack(dropna=True)
Stigma petals
rose number NaN 40.0
Lily number NaN 8.0
size 5 NaN
Empiler et valeurs manquantes
Des combinaisons d'index et de colonnes manquent dans le DataFrame d'origine
flowers.stack(dropna=False)
Stigma petals
rose number NaN 40.0
size NaN NaN <--
Lily number NaN 8.0
size 5 NaN
Gérer NaN avec stack
flowers.stack(dropna=False).fillna(0)
Stigma petals
rose number 0 40.0
size 0 0
Lily number 0 8.0
size 5 0
Passons à la pratique !
Remanier des données avec pandas
