Parâmetros e hiperparâmetros do ALS

Construindo mecanismos de recomendação com PySpark

Jamen Long

Data Scientist at Nike

Exemplo de código ALS

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Nomes das colunas

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumentos

userCol: Nome da coluna com os IDs de usuários
itemCol: Nome da coluna com os IDs de itens
ratingCol: Nome da coluna com as avaliações

matriz de avaliações original em branco com duas matrizes fator em branco

mesma imagem anterior com dimensões latentes destacadas

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hiperparâmetros

rank, $k$: número de características latentes

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hiperparâmetros

rank, $k$: número de características latentes
maxIter: número de iterações

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hiperparâmetros

rank, $k$: número de características latentes
maxIter: número de iterações
regParam: Lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hiperparâmetros

rank, $k$: número de características latentes
maxIter: número de iterações
regParam: Lambda
alpha: Será visto depois. Usado apenas com avaliações implícitas.

Não negativo

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumentos adicionais

nonnegative = True: Garante números positivos

Estratégia de cold start

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumentos adicionais

nonnegative = True: Garante números positivos
coldStartStrategy = "drop": Trata problemas do split de treino/teste

Preferências implícitas

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumentos adicionais

nonnegative = True: Garante números positivos
coldStartStrategy = "drop": Trata problemas do split de treino/teste
implicitPrefs = True: True/False conforme o tipo de avaliação

Exemplo de criação de modelo ALS

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Métodos fit e transform

# Fit ALS to training dataset
model = als.fit(training_data)

# Generate predictions on test dataset
predictions = model.transform(test_data)

Vamos praticar!

Construindo mecanismos de recomendação com PySpark