Utilizarea iteratorilor pentru încărcarea fișierelor mari în memorie

Cutia cu instrumente Python

Hugo Bowne-Anderson

Data Scientist at DataCamp

Încărcarea datelor în fragmente

Datele pot fi prea mari pentru a fi încărcate în memorie
Soluție: încărcați datele în fragmente!
Funcția pandas: read_csv()
- Specificați fragmentul: chunksize

Iterarea peste date

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):

    result.append(sum(chunk['x']))

total = sum(result)

print(total)

Iterarea peste date

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000):
    total += sum(chunk['x'])

print(total)

Să exersăm!

Cutia cu instrumente Python