Огляд бінарних неявних оцінок

Створення рушіїв рекомендацій у PySpark

Jamen Long

Data Scientist at Nike

Бінарні оцінки

binary_movie_ratings.show()

+------+-------+-------------+
|userId|movieId|binary_rating|
+------+-------+-------------+
|    26|    474|            0|
|    26|   2529|            1|
|    26|     26|            0|
|    26|   1950|            0|
|    26|   4823|            1|
|    26|  72011|            1|
|    26| 142507|            0|
|    38|   1325|            0|
|    38|   6011|            1|
+------+-------+-------------+

Дисбаланс класів

getSparsity(binary_ratings)

Розрідженість: .993

Зважування елементів

Зважування елементів: фільми з більшою кількістю переглядів користувачами отримують вищу вагу

Зважування елементів і користувачів

Зважування елементів: фільми з більшою кількістю переглядів користувачами отримують вищу вагу
Зважування користувачів: користувачам, які бачили більше фільмів, призначають нижчі ваги для непереглянутих фільмів

Давайте потренуємось!

Створення рушіїв рекомендацій у PySpark