Dask-arrayer

Parallellprogrammering med Dask i Python

James Fulton

Climate informatics researcher

Dela upp arrayer i block

Visar en array som ett enda stycke

Dela upp arrayer i block

Visar en array uppdelad i flera block

NumPy vs. Dask-arrayer

Visar en array som ett enda stycke

import numpy as np

x = np.ones((4000, 6000))


print(x.sum())

24000000.0

Tar 740 millisekunder att köra

Visar en array uppdelad i flera block

import dask.array as da

x = da.ones((4000, 6000), 
            chunks=(1000,2000))

print(x.sum().compute())

24000000.0

Tar 60 millisekunder att köra

Uppgiftsgraf för Dask-array

Visar hur grenarna i uppgiftsgrafen konvergerar till ett slutresultat.

Metoder för Dask-array

Dask-arrayer har nästan alla metoder som NumPy-arrayer har.

x.max()
x.min()
x.sum()
x.mean()
osv.

print(sum_down_columns.compute())

array([1000., 1000., 1000., 1000., 
    1000., 1000., 1000., 1000., 1000.,
    1000.])

Använda Dask-arrayer som NumPy-arrayer

# Lazy mathematics with Dask array
y1 = x**2 + 2*x + 1

# Lazy slicing
y2 = x[:10]

# Applying NumPy functions is lazy too
y3 = np.sin(x)

print(y1)

dask.array<add, shape=(1000, 10), ...

print(y2)

dask.array<getitem, shape=(10, 10), ...

print(y3)

dask.array<sin, shape=(1000, 10), ...

Läsa in bildmatriser

import dask.array as da

import da.image


image_array = da.image.imread('images/*.png')


print(image_array)

dask.array<imread, shape=(40000, 256, 256, 3), dtype=uint8, 
    chunksize=(1, 256, 256, 3), chunktype=numpy.ndarray>

Applicera anpassade funktioner på block

def instagram_filter(image):
    ...
    return pretty_image


# Apply function to each image independently
pretty_image_array = image_array.map_blocks(instagram_filter)


print(pretty_image_array)

dask.array<instagram_filter, shape=(40000, 256, 256, 3), dtype=uint8, 
    chunksize=(1, 256, 256, 3), chunktype=numpy.ndarray>

Nu kör vi en övning!

Parallellprogrammering med Dask i Python