Chúc mừng bạn!

Xử lý dữ liệu có khả năng mở rộng trong R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Split-Apply-Combine

  • Chia dữ liệu thành các phần
  • Tính toán trên từng phần
  • Kết hợp kết quả
Xử lý dữ liệu có khả năng mở rộng trong R

Split-Apply-Combine: Ưu điểm

  • Phần nhỏ, dễ quản lý, không làm quá tải máy
  • Dễ song song hóa
  • Xử lý tuần tự
  • Xử lý trên nhiều máy trong một cụm
Xử lý dữ liệu có khả năng mở rộng trong R

Split-Apply-Combine: R

  • split() chia tập số hàng hoặc data.frame

  • Map() tính toán trên các phần

  • Reduce() kết hợp kết quả

Xử lý dữ liệu có khả năng mở rộng trong R

bigmemory

bigmemory

  • Phù hợp với tập dữ liệu lớn dạng ma trận dày, có thể quá cỡ RAM
  • Trông như ma trận R thông thường
Xử lý dữ liệu có khả năng mở rộng trong R

iotools

iotools

  • Hợp cho dữ liệu rất lớn xử lý theo từng khối tuần tự
  • Hỗ trợ data.frame và matrix
Xử lý dữ liệu có khả năng mở rộng trong R

Xử lý dữ liệu có khả năng mở rộng trong R

Chúc may mắn!

Xử lý dữ liệu có khả năng mở rộng trong R

Preparing Video For Download...