Úvod do datové sady Million Songs

Tvorba doporučovacích systémů s PySparkem

Jamen Long

Data Scientist at Nike

Explicitní vs. implicitní

Explicitní hodnocení palec nahoru/dolů, 4 z 5 hvězdiček, škála barevných teček od nejhorší po nejlepší

Explicitní vs. implicitní (pokračování)

Explicitní hodnocení palec nahoru/dolů, 4 z 5 hvězdiček, škála barevných teček od nejhorší po nejlepší

Implicitní hodnocení palec nahoru/dolů, 4 z 5 hvězdiček, škála barevných teček od nejhorší po nejlepší

Opakování implicitního hodnocení II

Explicitní hodnocení palec nahoru/dolů, 4 z 5 hvězdiček, škála barevných teček od nejhorší po nejlepší

Implicitní hodnocení palec nahoru/dolů, 4 z 5 hvězdiček, škála barevných teček od nejhorší po nejlepší odkaz na bílou knihu

Úvod do datové sady Million Songs

Thierry Bertin-Mahieux, Daniel P.W. Ellis, Brian Whitman, and Paul Lamere. The Million Song Dataset. In Proceedings of the 12th International Society for Music Information Retrieval Conference (SIMIR 20122), 2011.

Přidání nulového vzorku

ratings.show()

+------+------+---------+
|userId|songId|num_plays|
+------+------+---------+
|    10|    22|        5|
|    38|    99|        1|
|    38|    77|        3|
|    42|    99|        1|
+------+------+---------+

Úvod do křížového spojení

users = ratings.select("userId").distinct()
users.show()

+------+
|userId|
+------+
|    10|
|    38|
|    42|
+------+

songs = ratings.select("songId").distinct()
songs.show()

+------+
|songId|
+------+
|    22|
|    77|
|    99|
+------+

Výstup křížového spojení

cross_join = users.crossJoin(songs)
cross_join.show()

+------+------+
|userId|songId|
+------+------+
|    10|    22|
|    10|    77|
|    10|    99|
|    38|    22|
|    38|    77|
|    38|    99|
|    42|    22|
|    42|    77|
|    42|    99|
+------+------+

Připojení původních dat hodnocení

cross_join = users.crossJoin(songs)
                  .join(ratings, ["userId", "songId"], "left")
cross_join.show()

+------+------+---------+
|userId|songId|num_plays|
+------+------+---------+
|    10|    22|        5|
|    10|    77|     null|
|    10|    99|     null|
|    38|    22|     null|
|    38|    77|        3|
|    38|    99|        1|
|    42|    22|     null|
|    42|    77|     null|
|    42|    99|        1|
+------+------+---------+

Doplnění nulami

cross_join = users.crossJoin(songs)
                  .join(ratings, ["userId", "songId"], "left").fillna(0)
cross_join.show()

+------+------+---------+
|userId|songId|num_plays|
+------+------+---------+
|    10|    22|        5|
|    10|    77|        0|
|    10|    99|        0|
|    38|    22|        0|
|    38|    77|        3|
|    38|    99|        1|
|    42|    22|        0|
|    42|    77|        0|
|    42|    99|        1|
+------+------+---------+

Funkce pro přidání nul

def add_zeros(df):
    # Extracts distinct users
    users = df.select("userId").distinct() 

    # Extracts distinct songs
    songs = df.select("songId").distinct() 

    # Joins users and songs, fills blanks with 0
    cross_join = users.crossJoin(items) \ 
                .join(df, ["userId", "songId"], "left").fillna(0)

    return cross_join

Pojďme procvičovat!

Tvorba doporučovacích systémů s PySparkem