Büyük dosyaları belleğe yüklemek için yineleyiciler kullanma

Python Araç Kutusu

Hugo Bowne-Anderson

Data Scientist at DataCamp

Veriyi parça parça yükleme

Belleğe sığmayacak kadar çok veri olabilir
Çözüm: veriyi parça parça yükleyin!
pandas işlevi: read_csv()
- Parça boyutu: chunksize

Veri üzerinde yineleme

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):

    result.append(sum(chunk['x']))

total = sum(result)

print(total)

Veri üzerinde yineleme

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000):
    total += sum(chunk['x'])

print(total)

Hadi pratik yapalım!

Python Araç Kutusu