ยินดีด้วย!

การประมวลผลข้อมูลขนาดใหญ่ใน R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Split-Apply-Combine

  • แบ่งข้อมูลออกเป็นส่วนย่อย
  • ประมวลผลแต่ละส่วน
  • รวมผลลัพธ์เข้าด้วยกัน
การประมวลผลข้อมูลขนาดใหญ่ใน R

Split-Apply-Combine: ข้อดี

  • ส่วนย่อยที่จัดการได้ไม่ทำให้คอมพิวเตอร์โอเวอร์โหลด
  • รองรับการประมวลผลแบบขนาน
  • ประมวลผลแบบลำดับ
  • ประมวลผลบนหลายเครื่องในคลัสเตอร์
การประมวลผลข้อมูลขนาดใหญ่ใน R

Split-Apply-Combine: R

  • split() แบ่งชุดหมายเลขแถวหรือ data.frame

  • Map() ประมวลผลแต่ละส่วน

  • Reduce() รวมผลลัพธ์

การประมวลผลข้อมูลขนาดใหญ่ใน R

bigmemory

bigmemory

  • เหมาะกับชุดข้อมูลขนาดใหญ่ที่แสดงเป็น dense matrix และอาจใหญ่เกิน RAM
  • ใช้งานได้เหมือน matrix ปกติใน R
การประมวลผลข้อมูลขนาดใหญ่ใน R

iotools

iotools

  • เหมาะกับข้อมูลขนาดใหญ่มากที่ประมวลผลแบบ chunk ต่อเนื่องได้
  • รองรับ data.frame และ matrix
การประมวลผลข้อมูลขนาดใหญ่ใน R

การประมวลผลข้อมูลขนาดใหญ่ใน R

ขอให้โชคดี!

การประมวลผลข้อมูลขนาดใหญ่ใน R

Preparing Video For Download...