Dùng iterator để nạp tệp lớn vào bộ nhớ

Hộp Công Cụ Python

Hugo Bowne-Anderson

Data Scientist at DataCamp

Nạp dữ liệu theo lô

Dữ liệu có thể quá lớn để chứa trong bộ nhớ
Giải pháp: nạp theo lô (chunk)!
Hàm pandas: read_csv()
- Chỉ định kích thước lô: chunksize

Lặp qua dữ liệu

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):

    result.append(sum(chunk['x']))

total = sum(result)

print(total)

Lặp qua dữ liệu

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000):
    total += sum(chunk['x'])

print(total)

Hãy thực hành!

Hộp Công Cụ Python