イテレーターで大きなファイルをメモリに読み込む

Python Toolbox

Hugo Bowne-Anderson

Data Scientist at DataCamp

チャンク単位でデータを読み込む

データが大きすぎてメモリに保存できない場合
解決策：データをチャンクで読み込む！
pandas 関数：read_csv()
- チャンクを指定する：chunksize

データをイテレートする

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):

    result.append(sum(chunk['x']))

total = sum(result)

print(total)

データをイテレートする

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000):
    total += sum(chunk['x'])

print(total)

練習しましょう！

Python Toolbox