Scalable Data Processing क्या है?

R में Scalable Data Processing

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

इस कोर्स में..

ऐसे डेटा से काम करें जो आपके कंप्यूटर के लिए बहुत बड़ा हो
Scalable कोड लिखें
डेटा को भागों (chunks) में import और process करें

RAM

सभी R ऑब्जेक्ट्स RAM में स्टोर होते हैं

वैरिएबल्स कितने बड़े हो सकते हैं?

"R किसी कंप्यूटर की RAM के 10-20% से बड़े डेटा पर काम करने के लिए उपयुक्त नहीं है." - R Installation and Administration Manual

Swapping अक्षम है

जब RAM कम पड़ती है, डेटा डिस्क पर भेजा जाता है
डिस्क RAM से कहीं धीमी होती है, इसलिए execution समय बढ़ता है

Scalable समाधान

एक subset को RAM में लाएँ
subset को process करें
परिणाम रखें और subset हटा दें

मेरा कोड धीमा क्यों है?

calculations की complexity
तेज, scalable कोड के लिए disk operations पर ध्यान दें

Performance की Benchmarking

library(microbenchmark)

microbenchmark( rnorm(100), rnorm(10000) )

Unit: microseconds
         expr    min      lq     mean  median      uq     max neval
   rnorm(100)   7.84   8.440   9.5459   8.773   9.355   29.56   100
 rnorm(10000) 679.51 683.706 755.5693 690.876 712.416 2949.03   100

अभ्यास करते हैं!

R में Scalable Data Processing

Preparing Video For Download...