A suíte de pacotes Bigmemory

Processamento de Dados em Escala no R

Michael Kane

Assistant Professor, Yale University

Até aqui...

  • Importar
  • Fazer subconjuntos
  • Atribuir valores a objetos big.matrix
Processamento de Dados em Escala no R

Pacotes associados

Tabelas e resumos
  • biganalytics
  • bigtabulate
Processamento de Dados em Escala no R

Pacotes associados

Álgebra linear
  • bigalgebra
Processamento de Dados em Escala no R

Pacotes associados

Ajuste de modelos
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
Processamento de Dados em Escala no R

Conjunto de dados de hipotecas da FHFA

  • Hipotecas mantidas ou securitizadas por Federal National Mortgage Association (Fannie Mae) e Federal Home Loan Mortgage Corporation (Freddie Mac) de 2009 a 2015
  • Os dados de hipotecas da FHFA estão online aqui
  • Vamos focar em uma amostra aleatória de 70.000 empréstimos
Processamento de Dados em Escala no R

1º exemplo: usando bigtabulate com bigmemory

library(bigtabulate)

# Quantas amostras temos por ano?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# Criar tabelas aninhadas
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
Processamento de Dados em Escala no R

Vamos praticar!

Processamento de Dados em Escala no R

Preparing Video For Download...