Xử lý dữ liệu mở rộng là gì?

Xử lý dữ liệu có khả năng mở rộng trong R

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Trong khóa học này..

  • Làm việc với dữ liệu quá lớn so với máy của bạn
  • Viết mã có thể mở rộng
  • Nhập và xử lý dữ liệu theo từng phần
Xử lý dữ liệu có khả năng mở rộng trong R

RAM

Mọi đối tượng R đều được lưu trong RAM

Xử lý dữ liệu có khả năng mở rộng trong R

Xử lý dữ liệu có khả năng mở rộng trong R

Biến có thể lớn đến mức nào?

"R không phù hợp để làm việc với dữ liệu lớn hơn 10–20% RAM của máy tính." - Sổ tay Cài đặt và Quản trị R

Xử lý dữ liệu có khả năng mở rộng trong R

Hoán đổi là kém hiệu quả

  • Khi máy tính hết RAM, dữ liệu được chuyển xuống đĩa
  • Vì đĩa chậm hơn RAM nhiều, thời gian chạy tăng lên
Xử lý dữ liệu có khả năng mở rộng trong R

Giải pháp có thể mở rộng

  • Đưa một phần dữ liệu vào RAM
  • Xử lý phần đó
  • Giữ kết quả và bỏ phần đã xử lý
Xử lý dữ liệu có khả năng mở rộng trong R

Vì sao mã của tôi chậm?

  • Độ phức tạp của phép tính

  • Cân nhắc kỹ thao tác với đĩa để viết mã nhanh, có thể mở rộng

Xử lý dữ liệu có khả năng mở rộng trong R

Đo hiệu năng

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100
Xử lý dữ liệu có khả năng mở rộng trong R

Cùng luyện tập nào!

Xử lý dữ liệu có khả năng mở rộng trong R

Preparing Video For Download...