Ska vi parallellisera?

Parallell programmering i R

Nabeel Imam

Data Scientist

Vi bygger ett hus

Bygga en våning ovanpå den förra: sekventiellt

Installera fönster i en färdig stomme: parallellt

En byggnad är under konstruktion. Våningar måste byggas i sekvens, medan fönster kan installeras parallellt.

Skalan sekventiellt–parallellt

Vanliga beräkningsuppgifter placeras på en skala från sekventiella i ena änden till parallella i den andra. Att skapa nya variabler ligger nära den parallella änden, medan kumulativ summa ligger nära den sekventiella änden.

En klassisk numerisk operation

Beräkna kvadratroten ur en miljon tal

numbers <- 1:1000000


start <- Sys.time()
sq_roots <- lapply(numbers, sqrt)
end <- Sys.time()


end - start

Time difference of 1.044573 secs

Hur parallelliserar vi kvadratroten?

Ett flödesschema för parallell beräkning av kvadratrötter. Heltalen från ett till en miljon delas upp i fem grupper om 200 000 tal vardera.

Hur parallelliserar vi kvadratroten?

Den uppdelade datan skickas till ett kluster med flera kärnor. Varje grupp av tal skickas till en kärna för kvadratsrotsberäkning. Om alla tillgängliga kärnor är upptagna väntar nya grupper tills en kärna är ledig.

Hur parallelliserar vi kvadratroten?

Kvadratrötterna samlas in från varje kärna och kombineras till en miljon kvadratrötter.

En parallelliserad numerisk operation

Kvadratrötterna ur en miljon tal – parallellt

library(parallel)


my_cluster <- makeCluster(3)


start <- Sys.time()
sq_roots <- parLapply(my_cluster, numbers, sqrt)
end <- Sys.time()


stopCluster(my_cluster)


end - start