bigmemoryの制限

Rで学ぶスケーラブルなデータ処理

Michael Kane

Assistant Professor, Yale University

bigmemoryが使用できる場面

  • bigmemoryが使用できるデータの条件
    • 行列形式
    • 密行列
    • 数値型
  • 基底データ構造は高速なモデル適合のための低レベル線形代数ライブラリと互換性があります
  • 列の型が異なる場合はffパッケージをご検討ください
Rで学ぶスケーラブルなデータ処理

ディスクアクセスの理解

big.matrixはランダムアクセス向けに設計されたデータ構造です

Rで学ぶスケーラブルなデータ処理

ランダムアクセスのデメリット

  • 既存のbig.matrixオブジェクトへの行・列の追加は不可
  • 行列全体を一つの連続したブロックとして格納できるディスク容量が必要
Rで学ぶスケーラブルなデータ処理

では、練習しましょう!

Rで学ぶスケーラブルなデータ処理

Preparing Video For Download...