การใช้ iterator เพื่อโหลดไฟล์ขนาดใหญ่เข้าหน่วยความจำ

Python Toolbox

Hugo Bowne-Anderson

Data Scientist at DataCamp

การโหลดข้อมูลแบบแบ่งส่วน

  • ข้อมูลอาจมีมากเกินกว่าจะเก็บในหน่วยความจำได้
  • วิธีแก้: โหลดข้อมูลทีละส่วน!
  • ฟังก์ชันใน pandas: read_csv()
    • ระบุขนาดส่วนด้วย: chunksize
Python Toolbox

การวนซ้ำผ่านข้อมูล

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):
result.append(sum(chunk['x']))
total = sum(result)
print(total)
4252532
Python Toolbox

การวนซ้ำผ่านข้อมูล

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000): total += sum(chunk['x'])
print(total)
4252532
Python Toolbox

มาฝึกกันเถอะ!

Python Toolbox

Preparing Video For Download...