Använda iteratorer för att läsa in stora filer i minnet

Python Toolbox

Hugo Bowne-Anderson

Data Scientist at DataCamp

Läsa in data i delar

Data kan vara för stora för att rymmas i minnet
Lösning: läs in data i delar!
pandas-funktionen: read_csv()
- Ange delstorlek: chunksize

Iterera över data

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):

    result.append(sum(chunk['x']))

total = sum(result)

print(total)

Iterera över data

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000):
    total += sum(chunk['x'])

print(total)

Nu kör vi en övning!

Python Toolbox