Обзор бинарных неявных оценок

Построение рекомендательных систем с помощью PySpark

Jamen Long

Data Scientist at Nike

Бинарные оценки

binary_movie_ratings.show()

+------+-------+-------------+
|userId|movieId|binary_rating|
+------+-------+-------------+
|    26|    474|            0|
|    26|   2529|            1|
|    26|     26|            0|
|    26|   1950|            0|
|    26|   4823|            1|
|    26|  72011|            1|
|    26| 142507|            0|
|    38|   1325|            0|
|    38|   6011|            1|
+------+-------+-------------+

Дисбаланс классов

getSparsity(binary_ratings)

Sparsity: .993

Взвешивание объектов

Взвешивание объектов: Фильмы с большим числом просмотров получают более высокий вес

Взвешивание объектов и пользователей

Взвешивание объектов: Фильмы с большим числом просмотров получают более высокий вес
Взвешивание пользователей: Пользователи, посмотревшие больше фильмов, получают более низкие веса для непросмотренных фильмов

Давайте потренируемся!

Построение рекомендательных систем с помощью PySpark