Introducción al clustering

Fundamentos de big data con PySpark

Upendra Devisetty

Science Analyst, CyVerse

¿Qué es el clustering?

El clustering es un aprendizaje no supervisado para agrupar datos
La librería PySpark MLlib admite estos modelos de clustering
- K-means
- Mezcla gaussiana
- Power Iteration Clustering (PIC)
- K-means biseccionado
- K-means en streaming

Clustering con K-means

K-means es el método de clustering más usado

K-means con Spark MLLib

RDD = sc.textFile("WineData.csv"). \
       map(lambda x: x.split(",")).\
       map(lambda x: [float(x[0]), float(x[1])])
RDD.take(5)

[[14.23, 2.43], [13.2, 2.14], [13.16, 2.67], [14.37, 2.5], [13.24, 2.87]]

Entrenar un modelo K-means

Se entrena K-means con el método KMeans.train()

from pyspark.mllib.clustering import KMeans
model = KMeans.train(RDD, k = 2, maxIterations = 10)
model.clusterCenters

[array([12.25573171,  2.28939024]), array([13.636875  ,  2.43239583])]

Evaluar el modelo K-means

from math import sqrt
def error(point):
    center = model.centers[model.predict(point)]
    return sqrt(sum([x**2 for x in (point - center)]))

WSSSE = RDD.map(lambda point: error(point)).reduce(lambda x, y: x + y)
print("Within Set Sum of Squared Error = " + str(WSSSE))

Within Set Sum of Squared Error = 77.96236420499056

Visualizar clusters con K-means

Visualizar clusters

wine_data_df = spark.createDataFrame(RDD, schema=["col1", "col2"])
wine_data_df_pandas = wine_data_df.toPandas()

cluster_centers_pandas = pd.DataFrame(model.clusterCenters, columns=["col1", "col2"])
cluster_centers_pandas.head()

plt.scatter(wine_data_df_pandas["col1"], wine_data_df_pandas["col2"]);
plt.scatter(cluster_centers_pandas["col1"], cluster_centers_pandas["col2"], color="red", marker="x");

Práctica de clustering

Fundamentos de big data con PySpark