Pandasをさらに学ぶ
R ユーザーのための Python
Daniel Chen
Instructor
欠損データ
- numpyの
NaNが欠損値 np.NaN、np.NAN、np.nanはRのNAと同じpd.isnullで欠損を確認pd.notnullで非欠損を確認pd.isnullはpd.isnaの別名
欠損データの処理
df
name treatment_a treatment_b
0 John Smith NaN 2
1 Jane Doe 16.0 11
2 Mary Johnson 3.0 1
a_mean = df['treatment_a'].mean()
a_mean
9.5
fillna
df['a_fill'] = df['treatment_a'].fillna(a_mean)
df
name treatment_a treatment_b a_fill
0 John Smith NaN 2 9.5
1 Jane Doe 16.0 11 16.0
2 Mary Johnson 3.0 1 3.0
Pandasをさらに学ぶ
- カスタム関数の適用
- groupby操作
- データの整然化
独自関数の適用
- 組み込み関数
- カスタム関数
applyメソッド- 軸（axis）の指定
R
df = data.frame('a' = c(1, 2, 3),
'b' = c(4, 5, 6))
apply(df, 2, mean)
a b
2 5
apply(df, 1, mean)
2.5 3.5 4.5
Python
import pandas as pd
df = pd.DataFrame({'A': [1, 2, 3],
'B':[4, 5, 6]})
df.apply(np.mean, axis=0)
A 2.0
B 5.0
dtype: float64
df.apply(np.mean, axis=1)
0 2.5
1 3.5
2 4.5
dtype: float64
整然データ（Tidy Data）
- データの整形と整理
- Hadley Wickham「Tidy Data」論文
- 各行は1つの観測値
- 各列は1つの変数
- 各観測単位がテーブルを形成
Tidy Data論文: http://vita.had.co.nz/papers/tidy-data.pdf
meltによる整然化
df
name treatment_a treatment_b
0 John Smith NaN 2
1 Jane Doe 16.0 11
2 Mary Johnson 3.0 1
df_melt = pd.melt(df, id_vars='name')
df_melt
name variable value
0 John Smith treatment_a NaN
1 Jane Doe treatment_a 16.0
2 Mary Johnson treatment_a 3.0
3 John Smith treatment_b 2.0
...
pivot_tableによる整然化
df_melt_pivot = pd.pivot_table(df_melt,
index='name',
columns='variable',
values='value')
df_melt_pivot
variable treatment_a treatment_b
name
Jane Doe 16.0 11.0
John Smith NaN 2.0
Mary Johnson 3.0 1.0
インデックスのリセット
df_melt_pivot.reset_index()
variable name treatment_a treatment_b
0 Jane Doe 16.0 11.0
1 John Smith NaN 2.0
2 Mary Johnson 3.0 1.0
Groupby
groupby：分割・適用・結合- データを個別のパーティションに分割
- 各パーティションに関数を適用
- 結果を結合
groupbyの実行
name variable value
0 John Smith treatment_a NaN
1 Jane Doe treatment_a 16.0
2 Mary Johnson treatment_a 3.0
3 John Smith treatment_b 2.0
4 Jane Doe treatment_b 11.0
5 Mary Johnson treatment_b 1.0
df_melt.groupby('name')['value'].mean()
name
Jane Doe 13.5
John Smith 2.0
Mary Johnson 2.0
Name: value, dtype: float64
練習しましょう！
R ユーザーのための Python
