Parametry a hyperparametry ALS

Tvorba doporučovacích systémů s PySparkem

Jamen Long

Data Scientist at Nike

Ukázkový kód modelu ALS

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Názvy sloupců

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumenty

userCol: Název sloupce s ID uživatelů
itemCol: Název sloupce s ID položek
ratingCol: Název sloupce s hodnoceními

prázdná původní matice hodnocení se dvěma prázdnými maticemi faktorů

stejný obrázek jako předchozí se zvýrazněnými latentními dimenzemi

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparametry

rank, $k$: počet latentních příznaků

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparametry

rank, $k$: počet latentních příznaků
maxIter: počet iterací

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparametry

rank, $k$: počet latentních příznaků
maxIter: počet iterací
regParam: Lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparametry

rank, $k$: počet latentních příznaků
maxIter: počet iterací
regParam: Lambda
alpha: Probráno později. Používá se pouze s implicitními hodnoceními.

Nezáporné hodnoty

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Další argumenty

nonnegative = True: Zajišťuje kladná čísla

Strategie cold start

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Další argumenty

nonnegative = True: Zajišťuje kladná čísla
coldStartStrategy = "drop": Řeší problémy s rozdělením na trénovací a testovací sadu

Implicitní preference

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Další argumenty

nonnegative = True: Zajišťuje kladná čísla
coldStartStrategy = "drop": Řeší problémy s rozdělením na trénovací a testovací sadu
implicitPrefs = True: True/False podle typu hodnocení

Ukázka sestavení modelu ALS

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Metody fit a transform

# Fit ALS to training dataset
model = als.fit(training_data)

# Generate predictions on test dataset
predictions = model.transform(test_data)

Lass uns üben!

Tvorba doporučovacích systémů s PySparkem