評価からレコメンドへ

データエンジニアリング入門

Vincent Vankrunkelsven

Data Engineer @ DataCamp

レコメンド表

 

user_id	course_id	rating
1	1	4.8
1	74	4.78
1	21	4.5
2	32	4.9

 

ユーザーが未受講コースの推定評価。

レコメンド手法

 

• 行列分解
• Building Recommendation Engines with PySpark

常識的な変換

 

レコメンド

user_id	course_id	rating
1	1	4.8
1	74	4.78
1	21	4.5
2	32	4.9

コースの平均評価

コース平均評価

course_id	avg_rating
1	4.8
74	4.78
21	4.5
32	4.9

 

高評価のコースを推奨したい

適切なプログラミング言語を使う

評価

user_id	course_id	programming_language	rating
1	1	r	4.8
1	74	sql	4.78
1	21	sql	4.5
1	32	python	4.9

 

ID 1 のユーザーに SQL コースを推奨

新しいコースを推奨する

評価

user_id	course_id	programming_language	rating
1	1	r	4.8
1	74	sql	4.78
1	21	sql	4.5
1	32	python	4.9

 

評価表に既存の組み合わせは推奨しない

今回のレコメンド変換

 

• 最も多く評価した技術を使う
• 既に評価済みのコースは除外
• 残りから評価が高い上位3件を推奨

評価

user_id	course_id	programming_language	rating
1	12	sql	4.78
1	52	sql	4.5
1	32	r	4.9

 

12 と 52 を除き、評価が高い SQL コース上位3件を推奨。

Passons à la pratique !

データエンジニアリング入門