ข้อจำกัดของ bigmemory

การประมวลผลข้อมูลขนาดใหญ่ใน R

Michael Kane

Assistant Professor, Yale University

ใช้ bigmemory ได้ที่ไหนบ้าง?

  • ใช้ bigmemory ได้เมื่อข้อมูลเป็น
    • เมทริกซ์
    • แบบ dense
    • ตัวเลข
  • โครงสร้างข้อมูลพื้นฐานรองรับไลบรารี linear algebra ระดับต่ำสำหรับการ fit โมเดลที่รวดเร็ว
  • หากมีคอลัมน์หลายประเภท ลองใช้แพ็กเกจ ff
การประมวลผลข้อมูลขนาดใหญ่ใน R

ทำความเข้าใจการเข้าถึงดิสก์

big.matrix คือโครงสร้างข้อมูลที่ออกแบบมาสำหรับการเข้าถึงแบบสุ่ม

การประมวลผลข้อมูลขนาดใหญ่ใน R

ข้อเสียของการเข้าถึงแบบสุ่ม

  • ไม่สามารถเพิ่มแถวหรือคอลัมน์ให้กับออบเจ็กต์ big.matrix ที่มีอยู่ได้
  • ต้องมีพื้นที่ดิสก์เพียงพอสำหรับจัดเก็บเมทริกซ์ทั้งหมดในบล็อกเดียว
การประมวลผลข้อมูลขนาดใหญ่ใน R

มาฝึกกันเถอะ!

การประมวลผลข้อมูลขนาดใหญ่ใน R

Preparing Video For Download...