Introducción al filtrado colaborativo
Fundamentos de big data con PySpark
Upendra Devisetty
Science Analyst, CyVerse
¿Qué es el filtrado colaborativo?
El filtrado colaborativo busca usuarios con intereses comunes
Se usa mucho en sistemas de recomendación
Enfoques de filtrado colaborativo:
Usuario-Usuario: encuentra usuarios parecidos al usuario objetivo
Ítem-Ítem: encuentra y recomienda ítems parecidos a los del usuario objetivo
Clase Rating en pyspark.mllib.recommendation
La clase Rating envuelve la tupla (usuario, producto y puntuación)
Útil para parsear el RDD y crear una tupla de usuario, producto y puntuación
from pyspark.mllib.recommendation import Rating
r = Rating(user = 1, product = 2, rating = 5.0)
(r[0], r[1], r[2])
(1, 2, 5.0)
Dividir datos con randomSplit()
Dividir en entrenamiento y prueba es clave para evaluar modelos predictivos
Suele ir más datos a entrenamiento que a prueba
randomSplit()de PySpark divide al azar con pesos dados y devuelve varios RDD
data = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])
training, test=data.randomSplit([0.6, 0.4])
training.collect()
test.collect()
[1, 2, 5, 6, 9, 10]
[3, 4, 7, 8]
Alternating Least Squares (ALS)
El algoritmo Alternating Least Squares (ALS) en
spark.mllibofrece filtrado colaborativoALS.train(ratings, rank, iterations)
r1 = Rating(1, 1, 1.0)
r2 = Rating(1, 2, 2.0)
r3 = Rating(2, 1, 2.0)
ratings = sc.parallelize([r1, r2, r3])
ratings.collect()
[Rating(user=1, product=1, rating=1.0),
Rating(user=1, product=2, rating=2.0),
Rating(user=2, product=1, rating=2.0)]
model = ALS.train(ratings, rank=10, iterations=10)
predictAll()
El método predictAll() devuelve puntuaciones previstas para pares usuario–producto de entrada
Recibe un RDD sin puntuaciones para generarlas
unrated_RDD = sc.parallelize([(1, 2), (1, 1)])
predictions = model.predictAll(unrated_RDD)
predictions.collect()
[Rating(user=1, product=1, rating=1.0000278574351853),
Rating(user=1, product=2, rating=1.9890355703778122)]
Evaluación del modelo
rates = ratings.map(lambda x: ((x[0], x[1]), x[2]))
rates.collect()
[((1, 1), 1.0), ((1, 2), 2.0), ((2, 1), 2.0)]
preds = predictions.map(lambda x: ((x[0], x[1]), x[2])) preds.collect()[((1, 1), 1.000027857), ((1, 2), 1.9890355703)]
rates_preds = rates.join(preds)
rates_preds.collect()
[((1, 2), (2.0, 1.9890355703)), ((1, 1), (1.0, 1.000027857))]
El MSE es el promedio del cuadrado de (actual rating - predicted rating)
MSE = rates_preds.map(lambda r: (r[1][0] - r[1][1])**2).mean()
¡Vamos a practicar!
Fundamentos de big data con PySpark
