Набір пакетів Bigmemory

Масштабована обробка даних в R

Michael Kane

Assistant Professor, Yale University

Поки що…

  • Імпорт
  • Підмножина
  • Присвоєння значень обʼєктам big.matrix
Масштабована обробка даних в R

Супутні пакети

Таблиці та підсумки
  • biganalytics
  • bigtabulate
Масштабована обробка даних в R

Супутні пакети

Лінійна алгебра
  • bigalgebra
Масштабована обробка даних в R

Супутні пакети

Підбір моделей
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
Масштабована обробка даних в R

Набір іпотечних даних FHFA

  • Іпотеки, що утримувалися або секʼюритизувалися одночасно Federal National Mortgage Association (Fannie Mae) та Federal Home Loan Mortgage Corporation (Freddie Mac) у 2009–2015 роках
  • Дані іпотек FHFA доступні онлайн тут
  • Ми зосередимось на випадковій підмножині з 70000 кредитів
Масштабована обробка даних в R

1-й приклад: використання bigtabulate з bigmemory

library(bigtabulate)

# Скільки прикладів маємо на рік?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# Створіть вкладені таблиці
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
Масштабована обробка даних в R

Давайте потренуємось!

Масштабована обробка даних в R

Preparing Video For Download...