Вітаємо!

Масштабована обробка даних в R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Split-Apply-Combine

Розбийте дані на частини
Обчисліть на частинах
Поєднайте результати

Split-Apply-Combine: переваги

Керовані частини не перевантажують комп'ютер
Підхід легко паралелізувати
Можна виконувати послідовно
Можна виконувати на кількох машинах у кластері

Split-Apply-Combine: R

split() ділить набір номерів рядків або data.frame
Map() обчислює на частинах
Reduce() поєднує результати

bigmemory

bigmemory

Підходить для великих наборів даних, що подаються як щільні матриці та можуть не вміститися в RAM
Виглядає як звичайна матриця R

iotools

iotools

Підходить для набагато більших даних, які обробляються послідовними блоками
Підтримує data.frame і matrix

Успіхів!

Масштабована обробка даних в R

Preparing Video For Download...