Przegląd binarnych, niejawnych ocen

Budowanie silników rekomendacji w PySpark

Jamen Long

Data Scientist at Nike

Oceny binarne

binary_movie_ratings.show()

+------+-------+-------------+
|userId|movieId|binary_rating|
+------+-------+-------------+
|    26|    474|            0|
|    26|   2529|            1|
|    26|     26|            0|
|    26|   1950|            0|
|    26|   4823|            1|
|    26|  72011|            1|
|    26| 142507|            0|
|    38|   1325|            0|
|    38|   6011|            1|
+------+-------+-------------+

Nierównowaga klas

getSparsity(binary_ratings)

Sparsity: .993

Ważenie elementów

Ważenie elementów: Filmy z większą liczbą wyświetleń = wyższa waga

Ważenie elementów i użytkowników

Ważenie elementów: Filmy z większą liczbą wyświetleń = wyższa waga
Ważenie użytkowników: Użytkownicy, którzy obejrzeli więcej filmów, otrzymują niższe wagi dla nieobejrzanych filmów

Czas na ćwiczenia!

Budowanie silników rekomendacji w PySpark