おめでとうございます！

Rで学ぶスケーラブルなデータ処理

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

分割・適用・結合

• データを分割する
• 各部分で計算する
• 結果を結合する

分割・適用・結合：利点

• 小さな部分に分けることでメモリへの負荷を軽減
• 並列化が容易
• 逐次処理が可能
• クラスター上の複数マシンでの処理も可能

分割・適用・結合：R

• split() で行番号または data.frame を分割

• Map() で各部分を計算

• Reduce() で結果を結合

bigmemory

bigmemory

• 密行列として表現できるRAMに収まらない大規模データに適している
• 通常のR行列と同様に扱える

iotools

iotools

• 逐次チャンクで処理できる大規模データに適している
• data.frame と matrix をサポート

頑張ってください！

Rで学ぶスケーラブルなデータ処理