Вступ до Dask

Паралельне програмування з Dask у Python

James Fulton

Climate Informatics Researcher

Прискорення обчислень за допомогою кількох ядер

Комп'ютери мають кілька ядер
Код потрібно написати так, щоб їх використовувати
Для цього можна застосувати пакет Dask
Завершуйте обчислення швидше

Конкурентне програмування

Схема зі списком завдань і одним шляхом, що проходить крізь них.

Багатопотоковість

Список завдань, поділений на дві частини.

Багатопотоковість

Два набори завдань надсилаються на два різні ядра CPU.

Багатопотоковість

Два набори завдань виконуються в одному процесі Python.

Паралельна обробка

Два набори завдань виконуються у двох різних процесах Python.

Паралельне програмування

Багатопотоковість

Два набори завдань виконують два ядра CPU в одному процесі Python.

Паралельна обробка

Два набори завдань виконують два ядра CPU у двох різних процесах Python.

Ліниві обчислення

Обчислення виконуються лише тоді, коли потрібен результат
Кроки для обчислення результату зберігаються на потім
Dask розподіляє завдання між потоками або процесами

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2


# Create delayed version of above function
delayed_square_function = delayed(my_square_function)

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2

# Create delayed version of above function
delayed_square_function = delayed(my_square_function)

# Use the delayed function with input 4
delayed_result = delayed_square_function(4)


# Print the delayed answer
print(delayed_result)

Delayed('my_square_function-7f71b132-70a9-457a-aa52-604e8c34f8a7')

Dask delayed

from dask import delayed

def my_square_function(x):
    return x**2

# Delay and use function
delayed_result = delayed(my_square_function)(4)

print(delayed_result)

Delayed('my_square_function-7f71b132-70a9-457a-aa52-604e8c34f8a7')

Обчислення відповіді

from dask import delayed

def my_square_function(x):
    return x**2

delayed_result = delayed(my_square_function)(4)

real_result = delayed_result.compute() # <- This line is where the calculation happens

# Print the answer
print(real_result)

Операції з відкладеними об'єктами

delayed_result1 = delayed(my_square_function)(4)

# Math operations return delayed object
delayed_result2 = (4 + delayed_result1) * 5

print(delayed_result2.compute())

Ліниві обчислення

x_list = [30, 85, 14, 12, 27, 62, 89, 15, 78,  0]

sum_of_squares = 0

for x in x_list:
    # Square and add numbers
    sum_of_squares += delayed(my_square_function)(x)

Ліниві обчислення

x_list = [30, 85, 14, 12, 27, 62, 89, 15, 78,  0]

sum_of_squares = 0

for x in x_list:
    # Square and add numbers
    sum_of_squares += delayed(my_square_function)(x)

result = sum_of_squares.compute()

# Print the answer
print(result)

Спільне використання обчислень

delayed_intermediate = delayed(my_square_function)(3)

# These two results both use delayed_intermediate
delayed_result1 = delayed_intermediate - 5
delayed_result2 = delayed_intermediate + 4

# delayed_3_squared will be computed twice
print('delayed_result1:', delayed_result1.compute())
print('delayed_result2:', delayed_result2.compute())

delayed_result1: 4
delayed_result2: 13

Спільне використання обчислень

import dask

# delayed_intermediate will be computed once
comp_result1, comp_result2 = dask.compute(delayed_result1, delayed_result2)

print('comp_result1:', comp_result1)
print('comp_result2:', comp_result2)

delayed_result1: 4
delayed_result2: 13

Давайте потренуємось!

Паралельне програмування з Dask у Python