Classification

Principes de Big Data avec PySpark

Upendra Devisetty

Science Analyst, CyVerse

Classification avec PySpark MLlib

La classification est un algorithme supervisé de Machine Learning qui classe les données d'entrée en différentes catégories

La régression logistique prédit une réponse binaire à partir de certaines variables

PySpark MLlib inclut des types de données spécifiques : Vectors et LabelledPoint
Deux types de Vectors
- Dense Vector : stocke toutes les entrées dans un tableau de nombres à virgule flottante
- Sparse Vector : ne stocke que les valeurs non nulles et leurs indices

denseVec = Vectors.dense([1.0, 2.0, 3.0])

DenseVector([1.0, 2.0, 3.0])

sparseVec = Vectors.sparse(4, {1: 1.0, 3: 5.5})

SparseVector(4, {1: 1.0, 3: 5.5})

Un LabeledPoint encapsule les caractéristiques d'entrée et la valeur étiquetée
En classification binaire pour la régression logistique, l'étiquette vaut 0 (négatif) ou 1 (positif)

positive = LabeledPoint(1.0, [1.0, 0.0, 3.0])
negative = LabeledPoint(0.0, [2.0, 1.0, 1.0])
print(positive)
print(negative)

LabeledPoint(1.0, [1.0,0.0,3.0])
LabeledPoint(0.0, [2.0,1.0,1.0])

L'algorithme HashingTF() sert à mapper les valeurs de caractéristiques vers des indices dans le vecteur de caractéristiques

from pyspark.mllib.feature import HashingTF
sentence = "hello hello world"
words = sentence.split()
tf = HashingTF(10000) 
tf.transform(words)

SparseVector(10000, {3065: 1.0, 6861: 2.0})

En PySpark MLlib, la régression logistique s'effectue avec la classe LogisticRegressionWithLBFGS

data = [
        LabeledPoint(0.0, [0.0, 1.0]),
        LabeledPoint(1.0, [1.0, 0.0]),
]
RDD = sc.parallelize(data)

lrm = LogisticRegressionWithLBFGS.train(RDD)

lrm.predict([1.0, 0.0])
lrm.predict([0.0, 1.0])

1
0

Principes de Big Data avec PySpark