Parametri e iperparametri ALS

Costruire motori di raccomandazione con PySpark

Jamen Long

Data Scientist at Nike

Esempio di codice ALS

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Nomi delle colonne

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argomenti

userCol: nome della colonna con gli id utente
itemCol: nome della colonna con gli id elemento
ratingCol: nome della colonna con i rating

matrice dei rating vuota con due matrici fattoriali vuote

stessa immagine di prima con dimensioni latenti evidenziate

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Iperparametri

rank, $k$: numero di feature latenti

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Iperparametri

rank, $k$: numero di feature latenti
maxIter: numero di iterazioni

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Iperparametri

rank, $k$: numero di feature latenti
maxIter: numero di iterazioni
regParam: Lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Iperparametri

rank, $k$: numero di feature latenti
maxIter: numero di iterazioni
regParam: Lambda
alpha: trattata più avanti. Usata solo con rating impliciti.

Non-negative

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argomenti aggiuntivi

nonnegative = True: garantisce valori positivi

Strategia di cold start

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argomenti aggiuntivi

nonnegative = True: garantisce valori positivi
coldStartStrategy = "drop": gestisce i problemi di train/test split

Preferenze implicite

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argomenti aggiuntivi

nonnegative = True: garantisce valori positivi
coldStartStrategy = "drop": gestisce i problemi di train/test split
implicitPrefs = True: True/False in base al tipo di rating

Esempio di creazione modello ALS

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Metodi fit e transform

# Fit ALS to training dataset
model = als.fit(training_data)

# Generate predictions on test dataset
predictions = model.transform(test_data)

Esercitiamoci!

Costruire motori di raccomandazione con PySpark