확장 가능한 데이터 처리란?

R에서 확장 가능한 데이터 처리

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

이 과정에서는 ..

  • 컴퓨터 용량을 초과하는 데이터 다루기
  • 확장 가능한 코드 작성
  • 데이터를 청크 단위로 가져와 처리
R에서 확장 가능한 데이터 처리

RAM

모든 R 객체는 RAM에 저장됩니다

R에서 확장 가능한 데이터 처리

R에서 확장 가능한 데이터 처리

변수의 크기 한계는?

"R은 컴퓨터 RAM의 10~20%를 초과하는 데이터를 다루기에 적합하지 않습니다." - R 설치 및 관리 매뉴얼

R에서 확장 가능한 데이터 처리

스와핑은 비효율적

  • RAM이 부족하면 데이터가 디스크로 이동
  • 디스크는 RAM보다 훨씬 느리므로 실행 시간 증가
R에서 확장 가능한 데이터 처리

확장 가능한 솔루션

  • 일부 데이터를 RAM으로 이동
  • 해당 데이터 처리
  • 결과 보존 후 데이터 삭제
R에서 확장 가능한 데이터 처리

코드가 느린 이유

  • 계산의 복잡성

  • 빠르고 확장 가능한 코드를 위해 디스크 연산을 신중히 고려

R에서 확장 가능한 데이터 처리

성능 벤치마킹

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100
R에서 확장 가능한 데이터 처리

연습해 봅시다!

R에서 확장 가능한 데이터 처리

Preparing Video For Download...