La suite de forfaits Bigmemory

Traitement de données évolutif en R

Michael Kane

Assistant Professor, Yale University

Jusqu'ici…

  • Importer
  • Sous-ensemble
  • Attribuer des valeurs aux objets big.matrix
Traitement de données évolutif en R

Forfaits associés

Tableaux et résumés
  • biganalytics
  • bigtabulate
Traitement de données évolutif en R

Forfaits associés

Algèbre linéaire
  • bigalgebra
Traitement de données évolutif en R

Forfaits associés

Ajuster des modèles
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
Traitement de données évolutif en R

Ensemble de données hypothécaires de la FHFA

  • Prêts hypothécaires détenus ou titrisés par la Federal National Mortgage Association (Fannie Mae) et la Federal Home Loan Mortgage Corporation (Freddie Mac), de 2009 à 2015
  • Les données hypothécaires de la FHFA sont en ligne ici
  • Nous nous concentrerons sur un sous-ensemble aléatoire de 70 000 prêts
Traitement de données évolutif en R

1er exemple : utiliser bigtabulate avec bigmemory

library(bigtabulate)

# Combien d'échantillons par année ?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# Créer des tableaux imbriqués
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
Traitement de données évolutif en R

Passons à la pratique !

Traitement de données évolutif en R

Preparing Video For Download...