Wprowadzenie do zbioru Million Songs Dataset

Budowanie silników rekomendacji w PySpark

Jamen Long

Data Scientist at Nike

Oceny jawne a niejawne

Oceny jawne kciuk w górę/w dół, 4 na 5 gwiazdek, skala kolorowych kropek od najgorszej do najlepszej

Oceny jawne a niejawne (cd.)

Oceny jawne kciuk w górę/w dół, 4 na 5 gwiazdek, skala kolorowych kropek od najgorszej do najlepszej

Oceny niejawne kciuk w górę/w dół, 4 na 5 gwiazdek, skala kolorowych kropek od najgorszej do najlepszej

Przypomnienie ocen niejawnych II

Oceny jawne kciuk w górę/w dół, 4 na 5 gwiazdek, skala kolorowych kropek od najgorszej do najlepszej

Oceny niejawne kciuk w górę/w dół, 4 na 5 gwiazdek, skala kolorowych kropek od najgorszej do najlepszej odniesienie do białej księgi

Wprowadzenie do zbioru Million Songs Dataset

Thierry Bertin-Mahieux, Daniel P.W. Ellis, Brian Whitman, and Paul Lamere. The Million Song Dataset. In Proceedings of the 12th International Society for Music Information Retrieval Conference (SIMIR 20122), 2011.

Dodawanie próbki zer

ratings.show()

+------+------+---------+
|userId|songId|num_plays|
+------+------+---------+
|    10|    22|        5|
|    38|    99|        1|
|    38|    77|        3|
|    42|    99|        1|
+------+------+---------+

Wprowadzenie do cross join

users = ratings.select("userId").distinct()
users.show()

+------+
|userId|
+------+
|    10|
|    38|
|    42|
+------+

songs = ratings.select("songId").distinct()
songs.show()

+------+
|songId|
+------+
|    22|
|    77|
|    99|
+------+

Wynik cross join

cross_join = users.crossJoin(songs)
cross_join.show()

+------+------+
|userId|songId|
+------+------+
|    10|    22|
|    10|    77|
|    10|    99|
|    38|    22|
|    38|    77|
|    38|    99|
|    42|    22|
|    42|    77|
|    42|    99|
+------+------+

Łączenie z oryginalnymi danymi ocen

cross_join = users.crossJoin(songs)
                  .join(ratings, ["userId", "songId"], "left")
cross_join.show()

+------+------+---------+
|userId|songId|num_plays|
+------+------+---------+
|    10|    22|        5|
|    10|    77|     null|
|    10|    99|     null|
|    38|    22|     null|
|    38|    77|        3|
|    38|    99|        1|
|    42|    22|     null|
|    42|    77|     null|
|    42|    99|        1|
+------+------+---------+

Uzupełnianie zerami

cross_join = users.crossJoin(songs)
                  .join(ratings, ["userId", "songId"], "left").fillna(0)
cross_join.show()

+------+------+---------+
|userId|songId|num_plays|
+------+------+---------+
|    10|    22|        5|
|    10|    77|        0|
|    10|    99|        0|
|    38|    22|        0|
|    38|    77|        3|
|    38|    99|        1|
|    42|    22|        0|
|    42|    77|        0|
|    42|    99|        1|
+------+------+---------+

Funkcja add_zeros

def add_zeros(df):
    # Extracts distinct users
    users = df.select("userId").distinct() 

    # Extracts distinct songs
    songs = df.select("songId").distinct() 

    # Joins users and songs, fills blanks with 0
    cross_join = users.crossJoin(items) \ 
                .join(df, ["userId", "songId"], "left").fillna(0)

    return cross_join

Czas na ćwiczenia!

Budowanie silników rekomendacji w PySpark