ALS-parameters en hyperparameters

Aanbevelingssystemen bouwen met PySpark

Jamen Long

Data Scientist at Nike

Voorbeeldcode ALS-model

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Kolomnamen

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumenten

userCol: Naam van kolom met user-id's
itemCol: Naam van kolom met item-id's
ratingCol: Naam van kolom met ratings

lege oorspronkelijke ratingmatrix met twee lege factormatrices

dezelfde afbeelding als hiervoor met gemarkeerde latente dimensies

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameters

rank, $k$: aantal latente features

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameters

rank, $k$: aantal latente features
maxIter: aantal iteraties

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameters

rank, $k$: aantal latente features
maxIter: aantal iteraties
regParam: lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameters

rank, $k`: aantal latente features
maxIter: aantal iteraties
regParam: lambda
alpha: Later besproken. Alleen bij impliciete ratings.

Niet-negatief

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Aanvullende argumenten

nonnegative = True: Zorgt voor positieve getallen

Cold-startstrategie

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Aanvullende argumenten

nonnegative = True: Zorgt voor positieve getallen
coldStartStrategy = "drop": Pakt issues met test/train-split aan

Impliciete voorkeuren

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Aanvullende argumenten

nonnegative = True: Zorgt voor positieve getallen
coldStartStrategy = "drop": Pakt issues met test/train-split aan
implicitPrefs = True: True/False afhankelijk van het type ratings

Voorbeeld: ALS-model bouwen

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Fit- en transform-methoden

# Fit ALS op trainingsgegevens
model = als.fit(training_data)

# Genereer voorspellingen op testgegevens
predictions = model.transform(test_data)

Laten we oefenen!

Aanbevelingssystemen bouwen met PySpark