Ограничения bigmemory

Масштабируемая обработка данных в R

Michael Kane

Assistant Professor, Yale University

Где применяется bigmemory?

Используйте bigmemory, если данные:
- матрицы
- плотные
- числовые
Базовые структуры данных совместимы с низкоуровневыми библиотеками линейной алгебры для быстрого обучения моделей
При разных типах столбцов попробуйте пакет ff

Доступ к данным на диске

big.matrix — структура данных, предназначенная для произвольного доступа

Недостатки произвольного доступа

Нельзя добавлять строки или столбцы к существующему объекту big.matrix
Необходимо достаточно места на диске, чтобы хранить всю матрицу в одном непрерывном блоке

Давайте потренируемся!

Масштабируемая обработка данных в R

Preparing Video For Download...