Обучение моделей машинного обучения на больших наборах данных

Параллельное программирование с Dask на Python

James Fulton

Climate Informatics Researcher

Dask-ML

import dask_ml

Ускоряет задачи машинного обучения

Линейная регрессия

Пример данных с линейной зависимостью между x и y.

Линейная регрессия

Прямая линия, подогнанная к данным.

Линейная регрессия

Выделено расстояние между прямой линией и фактическими точками данных.

Обучение модели линейной регрессии

# Import regression model
from sklearn.linear_model import SGDRegressor

# Create instance of model
model = SGDRegressor()

# Fit model to data
model.fit(X, y)

# Make predictions
y_pred = model.predict(X)

Использование модели scikit-learn с Dask

# Import regression model
from sklearn.linear_model import SGDRegressor

# Create instance of model
model = SGDRegressor()


# Import Dask-ML wrapper for model
from dask_ml.wrappers import Incremental


# Wrap model
dask_model = Incremental(model, scoring='neg_mean_squared_error')


# Fit on Dask DataFrames or arrays
dask_model.fit(dask_X, dask_y)  # not lazy

Обучение требует нескольких итераций

Анимация показывает, как прямая линия подгоняется всё точнее после нескольких итераций обучения.

Обучение инкрементальной модели

# Loop through data multiple times
for i in range(10):
    dask_model.partial_fit(dask_X, dask_y)  # not lazy

Получение предсказаний

y_pred = dask_model.predict(dask_X)

print(y_pred)

dask.array<_predict, shape=(nan,), dtype=int64, chunksize=(nan,), chunktype=...>

print(y_pred.compute())

array([0.465557, 0.905675, 0.285214, ..., 0.249454, 0.559624, 0.823475])

Давайте потренируемся!

Параллельное программирование с Dask на Python