Введение в коллаборативную фильтрацию
Основы Big Data с PySpark
Upendra Devisetty
Science Analyst, CyVerse
Что такое коллаборативная фильтрация?
Коллаборативная фильтрация — поиск пользователей с общими интересами
Широко применяется в рекомендательных системах
Подходы коллаборативной фильтрации:
Пользователь-пользователь: находит пользователей, похожих на целевого
Объект-объект: находит и рекомендует объекты, похожие на те, что интересны целевому пользователю
Класс Rating в подмодуле pyspark.mllib.recommendation
Класс Rating — обёртка над кортежем (пользователь, продукт, оценка)
Удобен для разбора RDD и создания кортежа из пользователя, продукта и оценки
from pyspark.mllib.recommendation import Rating
r = Rating(user = 1, product = 2, rating = 5.0)
(r[0], r[1], r[2])
(1, 2, 5.0)
Разбиение данных с помощью randomSplit()
Разбиение данных на обучающую и тестовую выборки необходимо для оценки прогностических моделей
Как правило, бо́льшая часть данных отводится под обучение
Метод
randomSplit()в PySpark случайно разбивает данные с заданными весами и возвращает несколько RDD
data = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])
training, test=data.randomSplit([0.6, 0.4])
training.collect()
test.collect()
[1, 2, 5, 6, 9, 10]
[3, 4, 7, 8]
Метод наименьших квадратов с чередованием (ALS)
Алгоритм метода наименьших квадратов с чередованием (ALS) в
spark.mllibреализует коллаборативную фильтрациюALS.train(ratings, rank, iterations)
r1 = Rating(1, 1, 1.0)
r2 = Rating(1, 2, 2.0)
r3 = Rating(2, 1, 2.0)
ratings = sc.parallelize([r1, r2, r3])
ratings.collect()
[Rating(user=1, product=1, rating=1.0),
Rating(user=1, product=2, rating=2.0),
Rating(user=2, product=1, rating=2.0)]
model = ALS.train(ratings, rank=10, iterations=10)
predictAll()
Метод predictAll() возвращает список прогнозируемых оценок для пар «пользователь — продукт»
Метод принимает RDD без оценок и генерирует их
unrated_RDD = sc.parallelize([(1, 2), (1, 1)])
predictions = model.predictAll(unrated_RDD)
predictions.collect()
[Rating(user=1, product=1, rating=1.0000278574351853),
Rating(user=1, product=2, rating=1.9890355703778122)]
Оценка модели
rates = ratings.map(lambda x: ((x[0], x[1]), x[2]))
rates.collect()
[((1, 1), 1.0), ((1, 2), 2.0), ((2, 1), 2.0)]
preds = predictions.map(lambda x: ((x[0], x[1]), x[2])) preds.collect()[((1, 1), 1.000027857), ((1, 2), 1.9890355703)]
rates_preds = rates.join(preds)
rates_preds.collect()
[((1, 2), (2.0, 1.9890355703)), ((1, 1), (1.0, 1.000027857))]
MSE — среднее значение квадрата разности (actual rating - predicted rating)
MSE = rates_preds.map(lambda r: (r[1][0] - r[1][1])**2).mean()
Давайте потренируемся!
Основы Big Data с PySpark
