Масиви Dask

Паралельне програмування з Dask у Python

James Fulton

Climate informatics researcher

Розбиття масивів на частини

Показано масив як єдине ціле

Розбиття масивів на частини

Показано масив, поділений на кілька частин

Масиви NumPy проти Dask

Показано масив як єдине ціле

import numpy as np

x = np.ones((4000, 6000))


print(x.sum())

24000000.0

Виконання займає 740 мс

Показано масив, поділений на кілька частин

import dask.array as da

x = da.ones((4000, 6000), 
            chunks=(1000,2000))

print(x.sum().compute())

24000000.0

Виконання займає 60 мс

Граф завдань масиву Dask

Показано, як гілки графа завдань сходяться до фінальної відповіді.

Методи масивів Dask

Масиви Dask мають майже всі методи, що й масиви NumPy.

x.max()
x.min()
x.sum()
x.mean()
тощо

print(sum_down_columns.compute())

array([1000., 1000., 1000., 1000., 
    1000., 1000., 1000., 1000., 1000.,
    1000.])

Працюємо з масивами Dask як з NumPy

# Лінива математика з Dask array
y1 = x**2 + 2*x + 1

# Ліниве зрізання
y2 = x[:10]

# Застосування функцій NumPy теж ліниве
y3 = np.sin(x)

print(y1)

dask.array<add, shape=(1000, 10), ...

print(y2)

dask.array<getitem, shape=(10, 10), ...

print(y3)

dask.array<sin, shape=(1000, 10), ...

Завантаження масивів зображень

import dask.array as da

import da.image


image_array = da.image.imread('images/*.png')


print(image_array)

dask.array<imread, shape=(40000, 256, 256, 3), dtype=uint8, 
    chunksize=(1, 256, 256, 3), chunktype=numpy.ndarray>

Застосування власних функцій до частин

def instagram_filter(image):
    ...
    return pretty_image


# Застосуйте функцію до кожного зображення окремо
pretty_image_array = image_array.map_blocks(instagram_filter)


print(pretty_image_array)

dask.array<instagram_filter, shape=(40000, 256, 256, 3), dtype=uint8, 
    chunksize=(1, 256, 256, 3), chunktype=numpy.ndarray>

Давайте потренуємось!

Паралельне програмування з Dask у Python