Introduktion till Dask

Parallellprogrammering med Dask i Python

James Fulton

Climate Informatics Researcher

Snabbare beräkningar med flera kärnor

Datorer har flera kärnor
Koden måste skrivas för att utnyttja dem
Dask-paketet kan användas för detta
Utför beräkningar snabbare

Samtidig programmering

Ett diagram som visar en lista med uppgifter och en väg genom dem.

Flertrådning

En lista med uppgifter som delas upp i två delar.

Flertrådning

Två uppsättningar uppgifter skickas till två olika CPU-kärnor.

Flertrådning

De två uppsättningarna uppgifter körs inom samma Python-process.

Parallellbearbetning

De två uppsättningarna uppgifter körs nu från två olika Python-processer.

Parallellprogrammering

Flertrådning

Två uppsättningar uppgifter körs av två CPU-kärnor inom samma Python-process.

Parallellbearbetning

Två uppsättningar uppgifter körs av två CPU-kärnor inom två olika Python-processer.

Lat evaluering

Beräkningar utförs inte förrän resultatet behövs
Stegen för att beräkna resultatet sparas till senare
Dask fördelar uppgifterna mellan trådar eller processer

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2


# Create delayed version of above function
delayed_square_function = delayed(my_square_function)

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2

# Create delayed version of above function
delayed_square_function = delayed(my_square_function)

# Use the delayed function with input 4
delayed_result = delayed_square_function(4)


# Print the delayed answer
print(delayed_result)

Delayed('my_square_function-7f71b132-70a9-457a-aa52-604e8c34f8a7')

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2

# Delay and use function
delayed_result = delayed(my_square_function)(4)

print(delayed_result)

Delayed('my_square_function-7f71b132-70a9-457a-aa52-604e8c34f8a7')

Beräkna svaret

from dask import delayed

def my_square_function(x):
    return x**2

delayed_result = delayed(my_square_function)(4)

real_result = delayed_result.compute() # <- This line is where the calculation happens

# Print the answer
print(real_result)

Operationer på delayed-objekt

delayed_result1 = delayed(my_square_function)(4)

# Math operations return delayed object
delayed_result2 = (4 + delayed_result1) * 5

print(delayed_result2.compute())

Lat evaluering

x_list = [30, 85, 14, 12, 27, 62, 89, 15, 78,  0]

sum_of_squares = 0

for x in x_list:
    # Square and add numbers
    sum_of_squares += delayed(my_square_function)(x)

Lat evaluering

x_list = [30, 85, 14, 12, 27, 62, 89, 15, 78,  0]

sum_of_squares = 0

for x in x_list:
    # Square and add numbers
    sum_of_squares += delayed(my_square_function)(x)

result = sum_of_squares.compute()

# Print the answer
print(result)

Delad beräkning

delayed_intermediate = delayed(my_square_function)(3)

# These two results both use delayed_intermediate
delayed_result1 = delayed_intermediate - 5
delayed_result2 = delayed_intermediate + 4

# delayed_3_squared will be computed twice
print('delayed_result1:', delayed_result1.compute())
print('delayed_result2:', delayed_result2.compute())

delayed_result1: 4
delayed_result2: 13

Delad beräkning

import dask

# delayed_intermediate will be computed once
comp_result1, comp_result2 = dask.compute(delayed_result1, delayed_result2)

print('comp_result1:', comp_result1)
print('comp_result2:', comp_result2)

delayed_result1: 4
delayed_result2: 13

Nu kör vi en övning!

Parallellprogrammering med Dask i Python