Использование итераторов для загрузки больших файлов в память

Инструментарий Python

Hugo Bowne-Anderson

Data Scientist at DataCamp

Загрузка данных частями

  • Данных может быть слишком много для загрузки в память
  • Решение: загружать данные частями!
  • Функция pandas: read_csv()
    • Укажите размер части: chunksize
Инструментарий Python

Перебор данных

import pandas as pd
result = []

for chunk in pd.read_csv('data.csv', chunksize=1000):
result.append(sum(chunk['x']))
total = sum(result)
print(total)
4252532
Инструментарий Python

Перебор данных

import pandas as pd
total = 0

for chunk in pd.read_csv('data.csv', chunksize=1000): total += sum(chunk['x'])
print(total)
4252532
Инструментарий Python

Давайте потренируемся!

Инструментарий Python

Preparing Video For Download...