พารามิเตอร์และไฮเปอร์พารามิเตอร์ของ ALS

การสร้าง Recommendation Engines ด้วย PySpark

Jamen Long

Data Scientist at Nike

ตัวอย่างโค้ดโมเดล ALS

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

ชื่อคอลัมน์

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

อาร์กิวเมนต์

userCol: ชื่อคอลัมน์ที่เก็บ id ของผู้ใช้
itemCol: ชื่อคอลัมน์ที่เก็บ id ของไอเทม
ratingCol: ชื่อคอลัมน์ที่เก็บคะแนนรีวิว

เมทริกซ์คะแนนเปล่าพร้อมเมทริกซ์ factor สองชุดที่ยังว่างอยู่

ภาพเดิมที่เน้น latent dimensions

Rank

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

ไฮเปอร์พารามิเตอร์

rank, $k$: จำนวน latent features

MaxIter

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

ไฮเปอร์พารามิเตอร์

rank, $k$: จำนวน latent features
maxIter: จำนวนรอบการวนซ้ำ

RegParam

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

ไฮเปอร์พารามิเตอร์

rank, $k$: จำนวน latent features
maxIter: จำนวนรอบการวนซ้ำ
regParam: Lambda

Alpha

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

ไฮเปอร์พารามิเตอร์

rank, $k$: จำนวน latent features
maxIter: จำนวนรอบการวนซ้ำ
regParam: Lambda
alpha: จะกล่าวถึงในภายหลัง ใช้กับ implicit ratings เท่านั้น

Non-negative

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

อาร์กิวเมนต์เพิ่มเติม

nonnegative = True: กำหนดให้ค่าทั้งหมดเป็นบวก

Cold start strategy

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

อาร์กิวเมนต์เพิ่มเติม

nonnegative = True: กำหนดให้ค่าทั้งหมดเป็นบวก
coldStartStrategy = "drop": แก้ปัญหาที่เกิดจากการแบ่ง test/train

Implicit preferences

als_model = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, alpha=40,
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

อาร์กิวเมนต์เพิ่มเติม

nonnegative = True: กำหนดให้ค่าทั้งหมดเป็นบวก
coldStartStrategy = "drop": แก้ปัญหาที่เกิดจากการแบ่ง test/train
implicitPrefs = True: True/False ขึ้นอยู่กับประเภทของ ratings

ตัวอย่างการสร้างโมเดล ALS

als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", 
            rank=25, maxIter=100, regParam=.05, 
            nonnegative=True,
            coldStartStrategy="drop",
            implicitPrefs=False)

เมธอด fit และ transform

# Fit ALS to training dataset
model = als.fit(training_data)

# Generate predictions on test dataset
predictions = model.transform(test_data)

มาฝึกกันเถอะ!

การสร้าง Recommendation Engines ด้วย PySpark