Bigmemory Paket Takımı

R'de Ölçeklenebilir Veri İşleme

Michael Kane

Assistant Professor, Yale University

Şimdiye kadar...

  • İçe aktar
  • Alt küme al
  • big.matrix nesnelerine değer ata
R'de Ölçeklenebilir Veri İşleme

İlişkili Paketler

Tablolar ve özetler
  • biganalytics
  • bigtabulate
R'de Ölçeklenebilir Veri İşleme

İlişkili Paketler

Lineer cebir
  • bigalgebra
R'de Ölçeklenebilir Veri İşleme

İlişkili Paketler

Modelleri Uydur
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
R'de Ölçeklenebilir Veri İşleme

FHFA'nın Mortgage Veri Kümesi

  • 2009-2015 arasında hem Federal National Mortgage Association (Fannie Mae) hem de Federal Home Loan Mortgage Corporation (Freddie Mac) tarafından elde tutulan veya menkul kıymetleştirilen ipotekler
  • FHFA Mortgage verileri çevrimiçi olarak burada mevcut
  • 70000 krediden rastgele bir alt kümeye odaklanacağız
R'de Ölçeklenebilir Veri İşleme

1. örnek: bigtabulate'ı bigmemory ile kullanma

library(bigtabulate)

# Yılda kaç örnek var?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# İç içe tablolar oluştur
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
R'de Ölçeklenebilir Veri İşleme

Hadi pratik yapalım!

R'de Ölçeklenebilir Veri İşleme

Preparing Video For Download...