Pakiety z rodziny Bigmemory

Skalowalne przetwarzanie danych w R

Michael Kane

Assistant Professor, Yale University

Dotychczas ..

  • Importowanie
  • Podzbiory
  • Przypisywanie wartości do obiektów big.matrix
Skalowalne przetwarzanie danych w R

Powiązane pakiety

Tabele i podsumowania
  • biganalytics
  • bigtabulate
Skalowalne przetwarzanie danych w R

Powiązane pakiety

Algebra liniowa
  • bigalgebra
Skalowalne przetwarzanie danych w R

Powiązane pakiety

Dopasowywanie modeli
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
Skalowalne przetwarzanie danych w R

Zbiór danych hipotecznych FHFA

  • Kredyty hipoteczne obsługiwane lub sekurytyzowane przez Federal National Mortgage Association (Fannie Mae) oraz Federal Home Loan Mortgage Corporation (Freddie Mac) w latach 2009–2015
  • Dane hipoteczne FHFA są dostępne online tutaj
  • Skupiamy się na losowej próbie 70 000 pożyczek
Skalowalne przetwarzanie danych w R

Przykład 1: bigtabulate z bigmemory

library(bigtabulate)

# How many samples do we have per year?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# Create nested tables
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
Skalowalne przetwarzanie danych w R

Czas na ćwiczenia!

Skalowalne przetwarzanie danych w R

Preparing Video For Download...