Wprowadzenie do Dask

Programowanie równoległe z Dask w Pythonie

James Fulton

Climate Informatics Researcher

Przyspieszanie obliczeń dzięki wielu rdzeniom

Komputery mają wiele rdzeni
Kod musi być napisany tak, aby je wykorzystywać
Do tego celu można użyć pakietu Dask
Obliczenia wykonują się szybciej

Programowanie współbieżne

Diagram przedstawiający listę zadań i jedną ścieżkę przez nie przechodzącą.

Wielowątkowość

Lista zadań podzielona na dwie części.

Wielowątkowość

Dwa zestawy zadań wysyłane do dwóch różnych rdzeni CPU.

Wielowątkowość

Dwa zestawy zadań uruchamiane w tym samym procesie Pythona.

Przetwarzanie równoległe

Dwa zestawy zadań uruchomione w dwóch różnych procesach Pythona.

Programowanie równoległe

Wielowątkowość

Dwa zestawy zadań uruchamiane przez dwa rdzenie CPU w tym samym procesie Pythona.

Przetwarzanie równoległe

Dwa zestawy zadań uruchamiane przez dwa rdzenie CPU w dwóch różnych procesach Pythona.

Leniwa ewaluacja

Obliczenia są wykonywane dopiero wtedy, gdy wynik jest potrzebny
Kroki wymagane do obliczenia wyniku są przechowywane na później
Dask rozdziela zadania między wątki lub procesy

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2


# Create delayed version of above function
delayed_square_function = delayed(my_square_function)

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2

# Create delayed version of above function
delayed_square_function = delayed(my_square_function)

# Use the delayed function with input 4
delayed_result = delayed_square_function(4)


# Print the delayed answer
print(delayed_result)

Delayed('my_square_function-7f71b132-70a9-457a-aa52-604e8c34f8a7')

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2

# Delay and use function
delayed_result = delayed(my_square_function)(4)

print(delayed_result)

Delayed('my_square_function-7f71b132-70a9-457a-aa52-604e8c34f8a7')

Obliczanie wyniku

from dask import delayed

def my_square_function(x):
    return x**2

delayed_result = delayed(my_square_function)(4)

real_result = delayed_result.compute() # <- This line is where the calculation happens

# Print the answer
print(real_result)

Operacje na obiektach delayed

delayed_result1 = delayed(my_square_function)(4)

# Math operations return delayed object
delayed_result2 = (4 + delayed_result1) * 5

print(delayed_result2.compute())

Leniwa ewaluacja

x_list = [30, 85, 14, 12, 27, 62, 89, 15, 78,  0]

sum_of_squares = 0

for x in x_list:
    # Square and add numbers
    sum_of_squares += delayed(my_square_function)(x)

Leniwa ewaluacja

x_list = [30, 85, 14, 12, 27, 62, 89, 15, 78,  0]

sum_of_squares = 0

for x in x_list:
    # Square and add numbers
    sum_of_squares += delayed(my_square_function)(x)

result = sum_of_squares.compute()

# Print the answer
print(result)

Współdzielenie obliczeń

delayed_intermediate = delayed(my_square_function)(3)

# These two results both use delayed_intermediate
delayed_result1 = delayed_intermediate - 5
delayed_result2 = delayed_intermediate + 4

# delayed_3_squared will be computed twice
print('delayed_result1:', delayed_result1.compute())
print('delayed_result2:', delayed_result2.compute())

delayed_result1: 4
delayed_result2: 13

Współdzielenie obliczeń

import dask

# delayed_intermediate will be computed once
comp_result1, comp_result2 = dask.compute(delayed_result1, delayed_result2)

print('comp_result1:', comp_result1)
print('comp_result2:', comp_result2)

delayed_result1: 4
delayed_result2: 13

Czas na ćwiczenia!

Programowanie równoległe z Dask w Pythonie