Parámetros e hiperparámetros de ALS

Creación de motores de recomendación con PySpark

Jamen Long

Data Scientist at Nike

Ejemplo de código de un modelo ALS

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Nombres de columnas

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumentos

userCol: nombre de la columna con los id de usuario
itemCol: nombre de la columna con los id de ítem
ratingCol: nombre de la columna con las valoraciones

matriz original de valoraciones en blanco con dos matrices de factores en blanco

misma imagen anterior con dimensiones latentes resaltadas

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hiperparámetros

rank, $k$: número de características latentes

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hiperparámetros

rank, $k$: número de características latentes
maxIter: número de iteraciones

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hiperparámetros

rank, $k`: número de características latentes
maxIter: número de iteraciones
regParam: lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hiperparámetros

rank, $k`: número de características latentes
maxIter: número de iteraciones
regParam: lambda
alpha: se tratará más adelante. Solo para valoraciones implícitas.

No negativo

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumentos adicionales

nonnegative = True: garantiza números positivos

Estrategia de arranque en frío

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumentos adicionales

nonnegative = True: garantiza números positivos
coldStartStrategy = "drop": soluciona problemas del split de train/test

Preferencias implícitas

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumentos adicionales

nonnegative = True: garantiza números positivos
coldStartStrategy = "drop": soluciona problemas del split de train/test
implicitPrefs = True: True/False según el tipo de valoraciones

Ejemplo de creación de un modelo ALS

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Métodos fit y transform

# Ajustar ALS al conjunto de entrenamiento
model = als.fit(training_data)

# Generar predicciones en el conjunto de prueba
predictions = model.transform(test_data)

¡Vamos a practicar!

Creación de motores de recomendación con PySpark