Массивы Dask

Параллельное программирование с Dask на Python

James Fulton

Climate informatics researcher

Разбиение массивов на части

Показан массив как единое целое

Разбиение массивов на части

Показан массив, разбитый на несколько частей

NumPy vs. массивы Dask

Показан массив как единое целое

import numpy as np

x = np.ones((4000, 6000))


print(x.sum())

24000000.0

Время выполнения: 740 миллисекунд

Показан массив, разбитый на несколько частей

import dask.array as da

x = da.ones((4000, 6000), 
            chunks=(1000,2000))

print(x.sum().compute())

24000000.0

Время выполнения: 60 миллисекунд

Граф задач массива Dask

Показано, как ветви графа задач сходятся к итоговому результату.

Методы массивов Dask

Массивы Dask поддерживают почти все методы массивов NumPy.

x.max()
x.min()
x.sum()
x.mean()
и др.

print(sum_down_columns.compute())

array([1000., 1000., 1000., 1000., 
    1000., 1000., 1000., 1000., 1000.,
    1000.])

Работа с массивами Dask как с массивами NumPy

# Lazy mathematics with Dask array
y1 = x**2 + 2*x + 1

# Lazy slicing
y2 = x[:10]

# Applying NumPy functions is lazy too
y3 = np.sin(x)

print(y1)

dask.array<add, shape=(1000, 10), ...

print(y2)

dask.array<getitem, shape=(10, 10), ...

print(y3)

dask.array<sin, shape=(1000, 10), ...

Загрузка массивов изображений

import dask.array as da

import da.image


image_array = da.image.imread('images/*.png')


print(image_array)

dask.array<imread, shape=(40000, 256, 256, 3), dtype=uint8, 
    chunksize=(1, 256, 256, 3), chunktype=numpy.ndarray>

Применение пользовательских функций к частям массива

def instagram_filter(image):
    ...
    return pretty_image


# Apply function to each image independently
pretty_image_array = image_array.map_blocks(instagram_filter)


print(pretty_image_array)

dask.array<instagram_filter, shape=(40000, 256, 256, 3), dtype=uint8, 
    chunksize=(1, 256, 256, 3), chunktype=numpy.ndarray>

Давайте потренируемся!

Параллельное программирование с Dask на Python