La suite di pacchetti Bigmemory

Elaborazione scalabile dei dati in R

Michael Kane

Assistant Professor, Yale University

Finora...

  • Importare
  • Sottoinsiemi
  • Assegnare valori a oggetti big.matrix
Elaborazione scalabile dei dati in R

Pacchetti associati

Tabelle e riepiloghi
  • biganalytics
  • bigtabulate
Elaborazione scalabile dei dati in R

Pacchetti associati

Algebra lineare
  • bigalgebra
Elaborazione scalabile dei dati in R

Pacchetti associati

Adattare modelli
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
Elaborazione scalabile dei dati in R

Il dataset di mutui FHFA

  • Mutui detenuti o cartolarizzati sia da Federal National Mortgage Association (Fannie Mae) sia da Federal Home Loan Mortgage Corporation (Freddie Mac) dal 2009 al 2015
  • I dati sui mutui FHFA sono disponibili online qui
  • Ci concentreremo su un sottoinsieme casuale di 70.000 prestiti
Elaborazione scalabile dei dati in R

1° esempio: usare bigtabulate con bigmemory

library(bigtabulate)

# Quanti campioni abbiamo per anno?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# Crea tabelle annidate
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
Elaborazione scalabile dei dati in R

Esercitiamoci!

Elaborazione scalabile dei dati in R

Preparing Video For Download...