Parameter dan hyperparameter ALS

Membangun Recommendation Engine dengan PySpark

Jamen Long

Data Scientist at Nike

Contoh kode model ALS

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Nama kolom

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumen

userCol: Nama kolom yang berisi id pengguna
itemCol: Nama kolom yang berisi id item
ratingCol: Nama kolom yang berisi rating

matriks rating asli kosong dengan dua matriks faktor kosong

gambar sama seperti sebelumnya dengan dimensi laten disorot

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameter

rank, $k$: jumlah fitur laten

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameter

rank, $k$: jumlah fitur laten
maxIter: jumlah iterasi

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameter

rank, $k$: jumlah fitur laten
maxIter: jumlah iterasi
regParam: Lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Hyperparameter

rank, $k$: jumlah fitur laten
maxIter: jumlah iterasi
regParam: Lambda
alpha: Dibahas nanti. Hanya untuk rating implisit.

Non-negative

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumen Tambahan

nonnegative = True: Memastikan angka positif

Strategi cold start

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumen Tambahan

nonnegative = True: Memastikan angka positif
coldStartStrategy = "drop": Mengatasi masalah pemisahan train/test

Preferensi implisit

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Argumen Tambahan

nonnegative = True: Memastikan angka positif
coldStartStrategy = "drop": Mengatasi masalah pemisahan train/test
implicitPrefs = True: True/False tergantung tipe rating

Contoh pembuatan model ALS

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

Metode fit dan transform

# Fit ALS to training dataset
model = als.fit(training_data)

# Generate predictions on test dataset
predictions = model.transform(test_data)

Ayo berlatih!

Membangun Recommendation Engine dengan PySpark