ALS-Parameter und Hyperparameter

Recommendation Engines mit PySpark erstellen

Jamen Long

Data Scientist at Nike

Beispielcode für ein ALS-Modell

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Spaltennamen

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumente

userCol: Name der Spalte mit den User-IDs
itemCol: Name der Spalte mit den Item-IDs
ratingCol: Name der Spalte mit den Bewertungen

leere ursprüngliche Bewertungstabelle mit zwei leeren Faktormatrizen

gleiches Bild wie zuvor mit hervorgehobenen latenten Dimensionen

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameter

rank, $k$: Anzahl latenter Merkmale

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameter

rank, $k$: Anzahl latenter Merkmale
maxIter: Anzahl der Iterationen

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameter

rank, $k$: Anzahl latenter Merkmale
maxIter: Anzahl der Iterationen
regParam: Lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameter

rank, $k$: Anzahl latenter Merkmale
maxIter: Anzahl der Iterationen
regParam: Lambda
alpha: Später besprochen. Nur bei impliziten Bewertungen.

Nichtnegativ

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Weitere Argumente

nonnegative = True: Erzwingt positive Zahlen

Cold-Start-Strategie

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Weitere Argumente

nonnegative = True: Erzwingt positive Zahlen
coldStartStrategy = "drop": Behebt Probleme bei Train/Test-Splits

Implizite Präferenzen

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Weitere Argumente

nonnegative = True: Erzwingt positive Zahlen
coldStartStrategy = "drop": Behebt Probleme bei Train/Test-Splits
implicitPrefs = True: True/False je nach Bewertungstyp

Beispiel: ALS-Modell erstellen

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Methoden fit und transform

# Fit ALS to training dataset
model = als.fit(training_data)

# Generate predictions on test dataset
predictions = model.transform(test_data)

Lass uns üben!

Recommendation Engines mit PySpark erstellen