Używanie iteratorów do ładowania dużych plików do pamięci

Zestaw narzędzi Pythona

Hugo Bowne-Anderson

Data Scientist at DataCamp

Ładowanie danych w fragmentach

Dane mogą być zbyt duże, by zmieścić się w pamięci
Rozwiązanie: ładowanie danych w fragmentach!
Funkcja pandas: read_csv()
- Określanie fragmentu: chunksize

Iterowanie po danych

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):

    result.append(sum(chunk['x']))

total = sum(result)

print(total)

Iterowanie po danych

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000):
    total += sum(chunk['x'])

print(total)

Czas na ćwiczenia!

Zestaw narzędzi Pythona