Clasificare

Fundamentele Big Data cu PySpark

Upendra Devisetty

Science Analyst, CyVerse

Clasificare cu PySpark MLlib

Clasificarea este un algoritm de învățare automată supervizată pentru sortarea datelor de intrare în categorii distincte

PySpark MLlib conține tipuri de date specifice: Vectors și LabelledPoint
Două tipuri de vectori
- Vector dens: stochează toate valorile într-un array de numere în virgulă mobilă
- Vector sparse: stochează doar valorile nenule și indicii acestora

denseVec = Vectors.dense([1.0, 2.0, 3.0])

DenseVector([1.0, 2.0, 3.0])

sparseVec = Vectors.sparse(4, {1: 1.0, 3: 5.5})

SparseVector(4, {1: 1.0, 3: 5.5})

Un LabeledPoint este un container pentru trăsăturile de intrare și valoarea prezisă
La clasificarea binară în regresia logistică, eticheta este 0 (negativ) sau 1 (pozitiv)

positive = LabeledPoint(1.0, [1.0, 0.0, 3.0])
negative = LabeledPoint(0.0, [2.0, 1.0, 1.0])
print(positive)
print(negative)

LabeledPoint(1.0, [1.0,0.0,3.0])
LabeledPoint(0.0, [2.0,1.0,1.0])

Algoritmul HashingTF() mapează valorile trăsăturilor la indici în vectorul de trăsături

from pyspark.mllib.feature import HashingTF
sentence = "hello hello world"
words = sentence.split()
tf = HashingTF(10000) 
tf.transform(words)

SparseVector(10000, {3065: 1.0, 6861: 2.0})

Regresia logistică în PySpark MLlib se realizează folosind clasa LogisticRegressionWithLBFGS

data = [
        LabeledPoint(0.0, [0.0, 1.0]),
        LabeledPoint(1.0, [1.0, 0.0]),
]
RDD = sc.parallelize(data)

lrm = LogisticRegressionWithLBFGS.train(RDD)

lrm.predict([1.0, 0.0])
lrm.predict([0.0, 1.0])

1
0

Fundamentele Big Data cu PySpark