Paramètres et hyperparamètres d'ALS

Créer des moteurs de recommandation avec PySpark

Jamen Long

Data Scientist at Nike

Exemple de code ALS

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Noms des colonnes

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Arguments

userCol : nom de la colonne contenant les identifiants utilisateur
itemCol : nom de la colonne contenant les identifiants d'élément
ratingCol : nom de la colonne contenant les notes

matrice de notes vierge avec deux matrices factorielles vides

même image que précédemment avec les dimensions latentes mises en évidence

Rang

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparamètres

rank, $k$ : nombre de caractéristiques latentes

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparamètres

rank, $k$ : nombre de caractéristiques latentes
maxIter : nombre d'itérations

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparamètres

rank, $k$ : nombre de caractéristiques latentes
maxIter : nombre d'itérations
regParam : lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparamètres

rank, $k$ : nombre de caractéristiques latentes
maxIter : nombre d'itérations
regParam : lambda
alpha : traité plus loin. Utilisé uniquement avec des notes implicites.

Non négatif

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Arguments supplémentaires

nonnegative = True : garantit des valeurs positives

Stratégie de démarrage à froid

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Arguments supplémentaires

nonnegative = True : garantit des valeurs positives
coldStartStrategy = "drop" : corrige les problèmes de découpe test/entraînement

Préférences implicites

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Arguments supplémentaires

nonnegative = True : garantit des valeurs positives
coldStartStrategy = "drop" : corrige les problèmes de découpe test/entraînement
implicitPrefs = True : True/False selon le type de notes

Exemple de construction d'un modèle ALS

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Méthodes fit et transform

# Fit ALS to training dataset
model = als.fit(training_data)

# Generate predictions on test dataset
predictions = model.transform(test_data)

Passons à la pratique !

Créer des moteurs de recommandation avec PySpark