bigmemory 的限制

R 的可擴展資料處理

Michael Kane

Assistant Professor, Yale University

bigmemory 可用在哪裡?

  • 當資料是下列情況時可以使用 bigmemory:
    • 矩陣
    • 稠密
    • 數值型
  • 底層資料結構可相容低階線性代數函式庫,加速模型擬合
  • 若欄位型別不一,可嘗試使用 ff 套件
R 的可擴展資料處理

理解磁碟存取

big.matrix 是為隨機存取設計的資料結構

R 的可擴展資料處理

隨機存取的缺點

  • 無法為既有的 big.matrix 物件新增列或欄
  • 需要足夠的磁碟空間,將整個矩陣存成單一大型區塊
R 的可擴展資料處理

一起來練習吧!

R 的可擴展資料處理

Preparing Video For Download...