वर्गीकरण

PySpark के साथ Big Data Fundamentals

Upendra Devisetty

Science Analyst, CyVerse

PySpark MLlib के साथ Classification

Classification एक supervised machine learning एल्गोरिदम है जो इनपुट डेटा को अलग-अलग श्रेणियों में बाँटता है

Logistic Regression कुछ वैरिएबल्स के आधार पर बाइनरी रिस्पॉन्स की भविष्यवाणी करती है

PySpark MLlib में खास डेटा टाइप्स होते हैं: Vectors और LabeledPoint
Vectors के दो प्रकार
- Dense Vector: अपनी सभी एंट्रियाँ floating point array में रखता है
- Sparse Vector: केवल nonzero वैल्यू और उनके indices रखता है

denseVec = Vectors.dense([1.0, 2.0, 3.0])

DenseVector([1.0, 2.0, 3.0])

sparseVec = Vectors.sparse(4, {1: 1.0, 3: 5.5})

SparseVector(4, {1: 1.0, 3: 5.5})

LabeledPoint इनपुट फीचर्स और प्रेडिक्टेड वैल्यू के लिए एक रैपर है
Logistic Regression की बाइनरी classification में लेबल 0 (negative) या 1 (positive) होता है

positive = LabeledPoint(1.0, [1.0, 0.0, 3.0])
negative = LabeledPoint(0.0, [2.0, 1.0, 1.0])
print(positive)
print(negative)

LabeledPoint(1.0, [1.0,0.0,3.0])
LabeledPoint(0.0, [2.0,1.0,1.0])

HashingTF() एल्गोरिदम फीचर वैल्यूज़ को feature vector में indices पर map करने के लिए प्रयोग होता है

from pyspark.mllib.feature import HashingTF
sentence = "hello hello world"
words = sentence.split()
tf = HashingTF(10000) 
tf.transform(words)

SparseVector(10000, {3065: 1.0, 6861: 2.0})

Pyspark MLlib में Logistic Regression, LogisticRegressionWithLBFGS क्लास से की जाती है

data = [
        LabeledPoint(0.0, [0.0, 1.0]),
        LabeledPoint(1.0, [1.0, 0.0]),
]
RDD = sc.parallelize(data)

lrm = LogisticRegressionWithLBFGS.train(RDD)

lrm.predict([1.0, 0.0])
lrm.predict([0.0, 1.0])

1
0

PySpark के साथ Big Data Fundamentals