क्या हमें parallelize करना चाहिए?

R में पैरेलल प्रोग्रामिंग

Nabeel Imam

Data Scientist

आइए एक इमारत बनाते हैं

पिछली मंजिल पर अगली बनाना: sequential

तैयार ढांचे में खिड़कियाँ लगाना: parallel

एक इमारत का निर्माण चल रहा है. मंजिलें क्रम में ही बन सकती हैं, जबकि खिड़कियाँ parallel लग सकती हैं.

Sequential–parallel scale

सामान्य computational tasks को एक scale पर दिखाया गया है, एक छोर पर sequential और दूसरे पर parallel. नए वैरिएबल बनाना parallel की ओर है, जबकि cumulative sum sequential की ओर.

एक क्लासिक numerical ऑपरेशन

दस लाख संख्याओं के square roots निकालना

numbers <- 1:1000000


start <- Sys.time()
sq_roots <- lapply(numbers, sqrt)
end <- Sys.time()


end - start

Time difference of 1.044573 secs

Square root को कैसे parallelize करें?

square roots को parallel में निकालने का एक flow chart. 1 से 10,00,000 तक पूर्णांक पाँच समूहों में बाँटे गए हैं, हर एक 200,000 लंबाई का.

Square root को कैसे parallelize करें?

Split किया डेटा एक cluster को भेजा जाता है, जो एक से अधिक cores से बना है. हर समूह एक core को square root के लिए भेजा जाता है. यदि सभी cores व्यस्त हों, तो नए समूह core खाली होने तक प्रतीक्षा करेंगे.

Square root को कैसे parallelize करें?

हर core से square roots इकट्ठे कर जोड़े जाते हैं ताकि कुल दस लाख परिणाम मिलें.

एक parallelized numerical ऑपरेशन

दस लाख संख्याओं के square roots parallel में

library(parallel)


my_cluster <- makeCluster(3)


start <- Sys.time()
sq_roots <- parLapply(my_cluster, numbers, sqrt)
end <- Sys.time()


stopCluster(my_cluster)


end - start