बड़े डेटासेट पर मशीन लर्निंग मॉडल ट्रेन करना

Python में Dask के साथ Parallel Programming

James Fulton

Climate Informatics Researcher

Dask-ML

import dask_ml

मशीन लर्निंग टास्क तेज़ करता है

लिनियर रिग्रेशन

कुछ डेटा का उदाहरण जिसमें x और y के बीच रैखिक संबंध है.

लिनियर रिग्रेशन

डेटा पर एक सीधी रेखा फिट की गई है.

लिनियर रिग्रेशन

सीधी रेखा और वास्तविक डेटा बिंदुओं के बीच की दूरी हाइलाइट है.

लिनियर रिग्रेशन मॉडल फिट करना

# Import regression model
from sklearn.linear_model import SGDRegressor

# Create instance of model
model = SGDRegressor()

# Fit model to data
model.fit(X, y)

# Make predictions
y_pred = model.predict(X)

scikit-learn मॉडल को Dask के साथ उपयोग करना

# Import regression model
from sklearn.linear_model import SGDRegressor

# Create instance of model
model = SGDRegressor()


# Import Dask-ML wrapper for model
from dask_ml.wrappers import Incremental


# Wrap model
dask_model = Incremental(model, scoring='neg_mean_squared_error')


# Fit on Dask DataFrames or arrays
dask_model.fit(dask_X, dask_y)  # not lazy

फिटिंग कई iterations लेती है

ऐनिमेशन दिखाता है कि कई iterations के बाद रेखा ज़्यादा सटीक फिट होती है.

Incremental मॉडल को ट्रेन करना

# Loop through data multiple times
for i in range(10):
    dask_model.partial_fit(dask_X, dask_y)  # not lazy

प्रेडिक्शन जनरेट करना

y_pred = dask_model.predict(dask_X)

print(y_pred)

dask.array<_predict, shape=(nan,), dtype=int64, chunksize=(nan,), chunktype=...>

print(y_pred.compute())

array([0.465557, 0.905675, 0.285214, ..., 0.249454, 0.559624, 0.823475])

अभ्यास करते हैं!

Python में Dask के साथ Parallel Programming