欠損値の扱い
pandas でデータを整形する
Maria Eugenia Inzaugarat
Data Scientist
復習
- DataFrame を stack / unstack する:
- すべての列はインデックス階層
- 行のインデックス階層
- どの階層を stack/unstack するか選択
unstack で欠損が生じる
下位グループでラベル集合が一致しない
animals
jump run fly
class order name
Mammalia carnivora dog No Yes No
Diprotodontia Kangaroo Yes No No
Aves hervibora bird No No Yes
unstack で欠損が生じる
下位グループでラベル集合が一致しない
animals
jump run fly
class order name
Mammalia carnivora dog No Yes No <--
Diprotodontia Kangaroo Yes No No
Aves hervibora bird No No Yes
unstack で欠損が生じる
下位グループでラベル集合が一致しない
animals.unstack(level='class')
jump run fly
clas Aves Mammalia Aves Mammalia Aves Mammalia
order name
Diprotodontia Kangaroo NaN Yes NaN No NaN No
carnivora Dog NaN No NaN Yes NaN No
Charadriiformes Avocet No NaN No NaN Yes NaN
unstack で欠損が生じる
下位グループでラベル集合が一致しない
animals.unstack(level='class')
jump run fly
clas Aves Mammalia Aves Mammalia Aves Mammalia
order name
Diprotodontia Kangaroo NaN Yes NaN No NaN No
-----------------------------
carnivora Dog NaN <-- No NaN Yes NaN No
-----------------------------
Charadriiformes Avocet No NaN No NaN Yes NaN
unstack での NaN の処理
animals.unstack(level='class', fill_value= )
unstack での NaN の処理
animals.unstack(level='class', fill_value='No')
unstack での NaN の処理
animals.unstack(level='class', fill_value='No').sort_index(level=['order', 'name'], ascending=[True, False])
jump run fly
clas Aves Mammalia Aves Mammalia Aves Mammalia
order name
Diprotodontia Kangaroo No Yes No No No No
carnivora Dog No No No Yes No No
Charadriiformes Avocet No No No No Yes No
stack と欠損値
元の DataFrame にないインデックスと列値の組み合わせ
flowers
petals Stigma
number size
rose 40 NaN
Lily 8 5
stack と欠損値
元の DataFrame にないインデックスと列値の組み合わせ
flowers.stack()
Stigma petals
rose number NaN 40.0
Lily number NaN 8.0
size 5 NaN
stack と欠損値
元の DataFrame にないインデックスと列値の組み合わせ
flowers.stack(dropna=True)
Stigma petals
rose number NaN 40.0
Lily number NaN 8.0
size 5 NaN
stack と欠損値
元の DataFrame にないインデックスと列値の組み合わせ
flowers.stack(dropna=False)
Stigma petals
rose number NaN 40.0
size NaN NaN <--
Lily number NaN 8.0
size 5 NaN
stack での NaN の処理
flowers.stack(dropna=False).fillna(0)
Stigma petals
rose number 0 40.0
size 0 0
Lily number 0 8.0
size 5 0
練習しましょう！
pandas でデータを整形する
