Clustering का परिचय

PySpark के साथ Big Data Fundamentals

Upendra Devisetty

Science Analyst, CyVerse

Clustering क्या है?

Clustering एक unsupervised learning कार्य है जिसमें डेटा को समूहों में संगठित किया जाता है
PySpark MLlib लाइब्रेरी वर्तमान में ये clustering मॉडल सपोर्ट करती है
- K-means
- Gaussian mixture
- Power iteration clustering (PIC)
- Bisecting k-means
- Streaming k-means

K-means Clustering

K-means सबसे लोकप्रिय clustering तरीका है

Spark MLLib के साथ K-means

RDD = sc.textFile("WineData.csv"). \
       map(lambda x: x.split(",")).\
       map(lambda x: [float(x[0]), float(x[1])])
RDD.take(5)

[[14.23, 2.43], [13.2, 2.14], [13.16, 2.67], [14.37, 2.5], [13.24, 2.87]]

K-means clustering मॉडल ट्रेन करें

K-means मॉडल का प्रशिक्षण KMeans.train() मेथड से किया जाता है

from pyspark.mllib.clustering import KMeans
model = KMeans.train(RDD, k = 2, maxIterations = 10)
model.clusterCenters

[array([12.25573171,  2.28939024]), array([13.636875  ,  2.43239583])]

K-means मॉडल का मूल्यांकन

from math import sqrt
def error(point):
    center = model.centers[model.predict(point)]
    return sqrt(sum([x**2 for x in (point - center)]))

WSSSE = RDD.map(lambda point: error(point)).reduce(lambda x, y: x + y)
print("Within Set Sum of Squared Error = " + str(WSSSE))

Within Set Sum of Squared Error = 77.96236420499056

K-means क्लस्टर्स का विज़ुअलाइज़ेशन

क्लस्टर्स का विज़ुअलाइज़ेशन

wine_data_df = spark.createDataFrame(RDD, schema=["col1", "col2"])
wine_data_df_pandas = wine_data_df.toPandas()

cluster_centers_pandas = pd.DataFrame(model.clusterCenters, columns=["col1", "col2"])
cluster_centers_pandas.head()

plt.scatter(wine_data_df_pandas["col1"], wine_data_df_pandas["col2"]);
plt.scatter(cluster_centers_pandas["col1"], cluster_centers_pandas["col2"], color="red", marker="x");

Clustering अभ्यास

PySpark के साथ Big Data Fundamentals