Dask 入門

Pythonで学ぶDaskによる並列プログラミング

James Fulton

Climate Informatics Researcher

複数コアで計算を高速化

コンピュータには複数コアがある
それを使うコードが必要
Dask パッケージで実現可能
計算をより速く完了

並行プログラミング

タスクの一覧と、単一路径がそれを通る図。

マルチスレッド

2 つに分割されたタスク一覧。

マルチスレッド

2 つのタスク群が 2 つの CPU コアへ送られる。

マルチスレッド

2 つのタスク群が同一の Python プロセス内で実行される。

並列処理

2 つのタスク群が別々の Python プロセスで実行される。

並列プログラミング

マルチスレッド

2 つのタスク群を同一 Python プロセス内の 2 つの CPU コアが実行。

並列処理

2 つのタスク群を別々の Python プロセス内の 2 つの CPU コアが実行。

遅延評価

結果が必要になるまで計算を実行しない
必要な手順を後で実行するために保持
Dask がタスクをスレッドやプロセスに分割

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2


# Create delayed version of above function
delayed_square_function = delayed(my_square_function)

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2

# Create delayed version of above function
delayed_square_function = delayed(my_square_function)

# Use the delayed function with input 4
delayed_result = delayed_square_function(4)


# Print the delayed answer
print(delayed_result)

Delayed('my_square_function-7f71b132-70a9-457a-aa52-604e8c34f8a7')

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2

# Delay and use function
delayed_result = delayed(my_square_function)(4)

print(delayed_result)

Delayed('my_square_function-7f71b132-70a9-457a-aa52-604e8c34f8a7')

結果を計算する

from dask import delayed

def my_square_function(x):
    return x**2

delayed_result = delayed(my_square_function)(4)

real_result = delayed_result.compute() # <- This line is where the calculation happens

# Print the answer
print(real_result)

遅延オブジェクトへの演算

delayed_result1 = delayed(my_square_function)(4)

# Math operations return delayed object
delayed_result2 = (4 + delayed_result1) * 5

print(delayed_result2.compute())

遅延評価

x_list = [30, 85, 14, 12, 27, 62, 89, 15, 78,  0]

sum_of_squares = 0

for x in x_list:
    # Square and add numbers
    sum_of_squares += delayed(my_square_function)(x)

遅延評価

x_list = [30, 85, 14, 12, 27, 62, 89, 15, 78,  0]

sum_of_squares = 0

for x in x_list:
    # Square and add numbers
    sum_of_squares += delayed(my_square_function)(x)

result = sum_of_squares.compute()

# Print the answer
print(result)

計算の共有

delayed_intermediate = delayed(my_square_function)(3)

# These two results both use delayed_intermediate
delayed_result1 = delayed_intermediate - 5
delayed_result2 = delayed_intermediate + 4

# delayed_3_squared will be computed twice
print('delayed_result1:', delayed_result1.compute())
print('delayed_result2:', delayed_result2.compute())

delayed_result1: 4
delayed_result2: 13

計算の共有

import dask

# delayed_intermediate will be computed once
comp_result1, comp_result2 = dask.compute(delayed_result1, delayed_result2)

print('comp_result1:', comp_result1)
print('comp_result2:', comp_result2)

delayed_result1: 4
delayed_result2: 13

Ayo berlatih!

Pythonで学ぶDaskによる並列プログラミング