बधाई हो!

R में Scalable Data Processing

Michael J. Kane and Simon Urbanek

Instructors, DataCamp

Split-Apply-Combine

  • डेटा को हिस्सों में बाँटें
  • हर हिस्से पर compute करें
  • नतीजे मिलाएँ
R में Scalable Data Processing

Split-Apply-Combine: फायदे

  • छोटे हिस्से कंप्यूटर पर बोझ नहीं डालते
  • तरीका आसानी से parallelize होता है
  • क्रमिक रूप से प्रोसेस करें
  • क्लस्टर में कई मशीनों पर प्रोसेस करें
R में Scalable Data Processing

Split-Apply-Combine: R

  • split() पंक्तियों के नंबर या data.frame के भाग बनाता है

  • Map() हिस्सों पर compute करता है

  • Reduce() नतीजे मिलाता है

R में Scalable Data Processing

bigmemory

bigmemory

  • बड़े datasets के लिए, जिन्हें dense matrices की तरह दर्शाया जा सके और जो RAM से बड़े हो सकते हैं
  • सामान्य R मैट्रिक्स जैसा दिखता है
R में Scalable Data Processing

iotools

iotools

  • बहुत बड़े डेटा के लिए, जिसे sequential chunks में प्रोसेस किया जा सके
  • data.frame और matrix को सपोर्ट करता है
R में Scalable Data Processing

R में Scalable Data Processing

शुभकामनाएँ!

R में Scalable Data Processing

Preparing Video For Download...