Обмеження bigmemory

Масштабована обробка даних в R

Michael Kane

Assistant Professor, Yale University

Де можна використовувати bigmemory?

  • Ви можете використовувати bigmemory, коли ваші дані:
    • матриці
    • щільні
    • числові
  • Базові структури даних сумісні з низькорівневими бібліотеками лінійної алгебри для швидкої побудови моделей
  • Якщо стовпці різних типів, спробуйте пакет ff
Масштабована обробка даних в R

Розуміння доступу до диска

big.matrix — це структура даних, розроблена для довільного доступу

Масштабована обробка даних в R

Недоліки довільного доступу

  • Не можна додавати рядки чи стовпці до наявного об'єкта big.matrix
  • Потрібно мати достатньо місця на диску, щоб зберегти всю матрицю одним великим блоком
Масштабована обробка даних в R

Давайте потренуємось!

Масштабована обробка даних в R

Preparing Video For Download...