Bigmemoryパッケージ群

Rで学ぶスケーラブルなデータ処理

Michael Kane

Assistant Professor, Yale University

これまでの内容

  • インポート
  • サブセット化
  • big.matrix オブジェクトへの値の割り当て
Rで学ぶスケーラブルなデータ処理

関連パッケージ

集計と要約
  • biganalytics
  • bigtabulate
Rで学ぶスケーラブルなデータ処理

関連パッケージ

線形代数
  • bigalgebra
Rで学ぶスケーラブルなデータ処理

関連パッケージ

モデルの適合
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
Rで学ぶスケーラブルなデータ処理

FHFAの住宅ローンデータセット

  • 連邦住宅抵当公社（ファニーメイ）および連邦住宅貸付抵当公社（フレディマック）が2009〜2015年に保有または証券化した住宅ローン
  • FHFAの住宅ローンデータはこちらで公開されています
  • 70,000件のランダムサンプルを使用します
Rで学ぶスケーラブルなデータ処理

例1：bigtabulateとbigmemoryの使用

library(bigtabulate)

# How many samples do we have per year?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# Create nested tables
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
Rで学ぶスケーラブルなデータ処理

では、練習しましょう！

Rで学ぶスケーラブルなデータ処理

Preparing Video For Download...