The Bigmemory Suite of Packages

การประมวลผลข้อมูลขนาดใหญ่ใน R

Michael Kane

Assistant Professor, Yale University

ที่ผ่านมา ..

  • นำเข้าข้อมูล
  • กรองข้อมูล
  • กำหนดค่าให้กับออบเจกต์ big.matrix
การประมวลผลข้อมูลขนาดใหญ่ใน R

แพ็กเกจที่เกี่ยวข้อง

ตารางและสรุปข้อมูล
  • biganalytics
  • bigtabulate
การประมวลผลข้อมูลขนาดใหญ่ใน R

แพ็กเกจที่เกี่ยวข้อง

พีชคณิตเชิงเส้น
  • bigalgebra
การประมวลผลข้อมูลขนาดใหญ่ใน R

แพ็กเกจที่เกี่ยวข้อง

การฟิตโมเดล
  • bigpca
  • bigFastLM
  • biglasso
  • bigrf
การประมวลผลข้อมูลขนาดใหญ่ใน R

ชุดข้อมูลสินเชื่อของ FHFA

  • สินเชื่อที่อยู่อาศัยที่ถือครองหรือแปลงเป็นหลักทรัพย์โดย Federal National Mortgage Association (Fannie Mae) และ Federal Home Loan Mortgage Corporation (Freddie Mac) ระหว่างปี 2009–2015
  • ข้อมูลสินเชื่อ FHFA เข้าถึงได้ทางออนไลน์ ที่นี่
  • จะเน้นที่กลุ่มตัวอย่างสุ่มจำนวน 70,000 รายการ
การประมวลผลข้อมูลขนาดใหญ่ใน R

ตัวอย่างที่ 1: ใช้ bigtabulate ร่วมกับ bigmemory

library(bigtabulate)

# How many samples do we have per year?
bigtable(mort, "year")

 2008  2009  2010  2011  2012  2013  2014  2015 
 8468 11101  8836  7996 10935 10216  5714  6734

# Create nested tables
bigtable(mort, c("msa", "year"))

  2008 2009 2010 2011 2012 2013 2014 2015
0 1064 1343  998  851 1066 1005  504  564
1 7404 9758 7838 7145 9869 9211 5210 6170
การประมวลผลข้อมูลขนาดใหญ่ใน R

มาฝึกกันเถอะ!

การประมวลผลข้อมูลขนาดใหญ่ใน R

Preparing Video For Download...