Чи варто паралелізувати?

Паралельне програмування в R

Nabeel Imam

Data Scientist

Збудуймо будівлю

Будуємо поверх на попередньому: послідовно

Встановлюємо вікна в готову конструкцію: паралельно

Будівництво будівлі. Поверхи зводять лише послідовно, а вікна можна встановлювати паралельно.

Шкала «послідовно — паралельно»

Поширені обчислювальні задачі розміщено на шкалі: на одному кінці — послідовні, на іншому — паралельні. Створення нових змінних ближче до паралельних, а кумулятивна сума — до послідовних.

Класична числова операція

Обчислення квадратних коренів з мільйона чисел

numbers <- 1:1000000


start <- Sys.time()
sq_roots <- lapply(numbers, sqrt)
end <- Sys.time()


end - start

Time difference of 1.044573 secs

Як паралелізувати квадратний корінь?

Блок-схема паралельного обчислення квадратних коренів. Цілі числа від одного до мільйона поділено на п'ять груп по 200 000.

Як паралелізувати квадратний корінь?

Поділені дані надсилаються в кластер з кількох ядер. Кожну групу чисел відправляють на окреме ядро для обчислення квадратних коренів. Якщо всі ядра зайняті, нові групи чекають звільнення ядра.

Як паралелізувати квадратний корінь?

Квадратні корені збираються з кожного ядра та об'єднуються, утворюючи мільйон значень.

Паралелізована числова операція

Квадратні корені з мільйона чисел у паралелі

library(parallel)


my_cluster <- makeCluster(3)


start <- Sys.time()
sq_roots <- parLapply(my_cluster, numbers, sqrt)
end <- Sys.time()


stopCluster(my_cluster)


end - start