다차원 배열

Python에서 Dask로 병렬 프로그래밍

James Fulton

Climate Informatics Researcher

다차원 데이터 유형

HDF 로고

단일 폴더

하나의 폴더에 네 개의 데이터셋과 메타데이터가 있음.

import h5py

# Open the HDF5 file
file = h5py.File('data.hdf5')


# Print the available datasets inside the file
print(file.keys())

<KeysViewHDF5 ['A', 'B', 'C', 'D']>

import h5py

# Open the HDF5 file
file = h5py.File('data.hdf5')


# Select dataset A
dataset_a = file['/A']


print(dataset_a)

<HDF5 dataset "A": shape (10000, 100, 100), type "<f4">

import dask.array as da


# Load dataset into a Dask array
a = da.from_array(dataset_a, chunks=(100, 20, 20))


print(a)

dask.array<array, shape=(10000, 100, 100), dtype=float32, chunksize=(100, 20, 20),
    chunktype=numpy.ndarray>

import dask.array as da

a = da.from_zarr("dataset.zarr", component="A")


print(a)

dask.array<from-zarr, shape=(10000, 100, 100), dtype=float32,
    chunksize=(100, 20, 20), chunktype=numpy.ndarray>

Python에서 Dask로 병렬 프로그래밍