बड़े फ़ाइलों को मेमोरी में लोड करने के लिए इटरेटर का उपयोग

Python टूलबॉक्स

Hugo Bowne-Anderson

Data Scientist at DataCamp

डेटा को चंक्स में लोड करना

  • डेटा इतना बड़ा हो सकता है कि मेमोरी में न समाए
  • समाधान: डेटा को चंक्स में लोड करें!
  • pandas फंक्शन: read_csv()
    • चंक तय करें: chunksize
Python टूलबॉक्स

डेटा पर इटरेट करना

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):
result.append(sum(chunk['x']))
total = sum(result)
print(total)
4252532
Python टूलबॉक्स

डेटा पर इटरेट करना

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000): total += sum(chunk['x'])
print(total)
4252532
Python टूलबॉक्स

अभ्यास करते हैं!

Python टूलबॉक्स

Preparing Video For Download...