Параметри та гіперпараметри ALS

Створення рушіїв рекомендацій у PySpark

Jamen Long

Data Scientist at Nike

Приклад коду моделі ALS

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Назви стовпців

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Аргументи

userCol: назва стовпця з ідентифікаторами користувачів
itemCol: назва стовпця з ідентифікаторами об'єктів
ratingCol: назва стовпця з оцінками

порожня початкова матриця оцінок із двома порожніми матрицями факторів

те саме зображення, але з підсвіченими латентними вимірами

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Гіперпараметри

rank, $k$: кількість латентних ознак

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Гіперпараметри

rank, $k$: кількість латентних ознак
maxIter: кількість ітерацій

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Гіперпараметри

rank, $k$: кількість латентних ознак
maxIter: кількість ітерацій
regParam: Lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Гіперпараметри

rank, $k$: кількість латентних ознак
maxIter: кількість ітерацій
regParam: Lambda
alpha: обговоримо далі. Використовується лише для неявних оцінок.

Невід'ємність

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Додаткові аргументи

nonnegative = True: гарантує додатні значення

Стратегія холодного старту

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Додаткові аргументи

nonnegative = True: гарантує додатні значення
coldStartStrategy = "drop": розв'язує проблеми з поділом на train/test

Неявні переваги

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Додаткові аргументи

nonnegative = True: гарантує додатні значення
coldStartStrategy = "drop": розв'язує проблеми з поділом на train/test
implicitPrefs = True: True/False залежно від типу оцінок

Приклад побудови моделі ALS

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Методи fit і transform

# Fit ALS to training dataset
model = als.fit(training_data)

# Generate predictions on test dataset
predictions = model.transform(test_data)

Давайте потренуємось!

Створення рушіїв рекомендацій у PySpark