疎行列への対処

Pythonでつくるレコメンデーションエンジン

Rob O'Callaghan

Director of Data

疎行列

小さく密な行列

疎行列

小さく密な行列と大きな疎行列

疎行列

小さく密な行列と大きな疎行列

疎密度の測定

print(book_rating_df)

title     The Great Gatsby    The Catcher in the Rye    Fifty Shades of Grey
User                    
User_233               3.0                       NaN                     NaN
User_651               NaN                       5.0                     4.0
User_965               4.0                       3.0                     NaN
     ...               ...                       ...                     ...

疎密度の測定

number_of_empty = book_ratings_df.isnull().values.sum()

total_number = user_ratings_df.size

sparsity = number_of_empty/total_number

print(sparsity)

0.0114

疎であることが重要な理由

大きな疎行列

疎であることが重要な理由

空のセルを強調した大きな疎行列

疎であることが重要な理由

最も近い非空の近傍を強調した大きな疎行列

疎であることが重要な理由

最も近い非空の近傍を強調した大きな疎行列

列ごとの疎密度の測定

user_ratings_df.notnull().sum()

The Pelican Brief                           1
Snow Crash                                  1
The Great Gatsby                           12
Fifty Shades of Grey                        9
Leviathan                                   1
                                           ..

行列分解

大きな疎行列

行列分解

大きな疎行列とその因子

行列分解

大きな疎行列、その因子、および補完された大きな行列

行列の積

2つの長方形行列

行列の積

2つの長方形行列

行列の積

2つの長方形行列

行列の積

2つの長方形行列

行列の積

2つの長方形行列と、その積であるより大きな行列

行列の積

print(matrix_x)

[[4, 1], 
 [2, 2], 
 [3, 3]]

print(matrix_b)

[[1, 0, 4], 
 [0, 1, 6]]

行列の積

import numpy as np

dot_product = np.dot(matrix_x, matrix_b)
print(dot_product)

[[ 4  1 22]
 [ 2  2 20]
 [ 3  3 30]]

練習しましょう！

Pythonでつくるレコメンデーションエンジン