bigmemory 的局限

R 的可扩展数据处理

Michael Kane

Assistant Professor, Yale University

bigmemory 适用场景

• 在以下情况下可用 bigmemory：
  • 矩阵
  • 稠密
  • 数值型
• 底层数据结构与低级线性代数库兼容，可快速拟合模型
• 如列类型不同，可尝试 ff 包

理解磁盘访问

big.matrix 是为随机访问设计的数据结构

随机访问的劣势

• 不能为已有的 big.matrix 对象添加行或列
• 需要足够磁盘空间，将整个矩阵存为一个大块

让我们练习一下！

R 的可扩展数据处理