Пакеты семейства Bigmemory

Масштабируемая обработка данных в R

Michael Kane

Assistant Professor, Yale University

Что мы уже умеем

  • Импорт
  • Подмножество
  • Присвоение значений объектам big.matrix
Масштабируемая обработка данных в R

Связанные пакеты

Таблицы и сводки
  • biganalytics
  • bigtabulate
Масштабируемая обработка данных в R

Связанные пакеты

Линейная алгебра
  • bigalgebra
Масштабируемая обработка данных в R

Связанные пакеты

Построение моделей
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
Масштабируемая обработка данных в R

Набор ипотечных данных FHFA

  • Ипотечные кредиты, удерживаемые или секьюритизированные Федеральной национальной ипотечной ассоциацией (Fannie Mae) и Федеральной ипотечной корпорацией по жилищным кредитам (Freddie Mac) в 2009–2015 гг.
  • Ипотечные данные FHFA доступны онлайн здесь
  • Мы сосредоточимся на случайном подмножестве из 70 000 кредитов
Масштабируемая обработка данных в R

Пример 1: bigtabulate совместно с bigmemory

library(bigtabulate)

# How many samples do we have per year?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# Create nested tables
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
Масштабируемая обработка данных в R

Давайте потренируемся!

Масштабируемая обработка данных в R

Preparing Video For Download...