最適なpandasの反復処理

効率的なPythonコードの書き方

Logan Thomas

Scientific Software Technical Trainer, Enthought

pandasの内部

  • ループ排除はpandasにも有効
  • pandasはNumPy上に構築
    • NumPy配列の効率を活用

alt=”pandasライブラリのロゴがNumPyパッケージのロゴ、その下にPythonのロゴの上に重なっている；pandasからNumPyへ「Builds on」、NumPyからPythonへ「Builds on」と書かれた線”

効率的なPythonコードの書き方
print(baseball_df)

  Team League  Year   RS   RA   W    G  Playoffs
0  ARI     NL  2012  734  688  81  162         0
1  ATL     NL  2012  700  600  94  162         1
2  BAL     AL  2012  712  705  93  162         1
...

wins_np = baseball_df['W'].values

print(type(wins_np))

<class 'numpy.ndarray'>

print(wins_np)

[ 81  94  93 ...]
効率的なPythonコードの書き方

ベクトル化の力

  • ブロードキャスト（ベクトル化）は非常に高速！
baseball_df['RS'].values - baseball_df['RA'].values

array([  46,  100,    7, ...,  188,  110, -117])
効率的なPythonコードの書き方

配列で得点差を計算

run_diffs_np = baseball_df['RS'].values - baseball_df['RA'].values

baseball_df['RD'] = run_diffs_np
print(baseball_df)

     Team League  Year   RS   RA    W    G  Playoffs   RD
0     ARI     NL  2012  734  688   81  162         0   46
1     ATL     NL  2012  700  600   94  162         1  100
2     BAL     AL  2012  712  705   93  162         1    7
3     BOS     AL  2012  734  806   69  162         0  -72
4     CHC     NL  2012  613  759   61  162         0 -146
...
効率的なPythonコードの書き方

手法の比較

%%timeit
run_diffs_np = baseball_df['RS'].values - baseball_df['RA'].values

baseball_df['RD'] = run_diffs_np

124 µs ± 1.47 µs/ループ（7回の平均±標準偏差、各10000ループ）
効率的なPythonコードの書き方

スキルを実践しましょう！

効率的なPythonコードの書き方

Preparing Video For Download...