フィルタリング結合

pandas によるデータの結合

Aaren Stubberfield

Instructor

ミューテーティング結合とフィルタリング結合

ミューテーティング結合:

  • 2つのテーブルの一致する観測値に基づいてデータを結合します

フィルタリング結合:

  • 別のテーブルの観測値と一致するかどうかに基づいて、テーブルから観測値をフィルターする
pandas によるデータの結合

セミ結合とは？

交差部分から結果が得られるセミジョインの表図

セミ結合

  • 内部結合と同様に、共通部分を返します
  • 左のテーブルの列のみを返し、右は返しません
  • 重複なし
pandas によるデータの結合

音楽データセット

ヘッドホン付きのスマートフォンの画像

SQLite チュートリアル画像

1 PexelsのVlad Bagacianによる写真
pandas によるデータの結合

データセット例

  gid  name           
0 1    Rock           
1 2    Jazz           
2 3    Metal          
3 4    Alternative ...
4 5    Rock And Roll  

  tid  name             aid  mtid  gid  composer         u_price
0 1    For Those Ab...  1    1     1    Angus Young,...  0.99   
1 2    Balls to the...  2    2     1    nan              0.99   
2 3    Fast As a Shark  3    2     1    F. Baltes, S...  0.99   
3 4    Restless and...  3    2     1    F. Baltes, R...  0.99   
4 5    Princess of ...  3    2     1    Deaffy & R.A...  0.99
pandas によるデータの結合

ステップ 1 - セミジョイン

genres_tracks = genres.merge(top_tracks, on='gid')
print(genres_tracks.head())

  gid  name_x  tid   name_y           aid  mtid  composer         u_price
0 1    Rock    2260  Don't Stop M...  185  1     Mercury, Fre...  0.99   
1 1    Rock    2933  Mysterious Ways  232  1     U2               0.99   
2 1    Rock    2618  Speed Of Light   212  1     Billy Duffy/...  0.99   
3 1    Rock    2998  When Love Co...  237  1     Bono/Clayton...  0.99   
4 1    Rock    685   Who'll Stop ...  54   1     J. C. Fogerty    0.99
pandas によるデータの結合

ステップ 2 - セミ結合

genres['gid'].isin(genres_tracks['gid'])

2列のgidが一致している画像

pandas によるデータの結合

ステップ 2 - セミ結合

genres['gid'].isin(genres_tracks['gid'])

0     True
1     True
2     True
3     True
4    False
Name: gid, dtype: bool
pandas によるデータの結合

ステップ 3 - セミジョイン

genres_tracks = genres.merge(top_tracks, on='gid')
top_genres = genres[genres['gid'].isin(genres_tracks['gid'])]
print(top_genres.head())

  gid  name           
0 1    Rock           
1 2    Jazz           
2 3    Metal          
3 4    Alternative & Punk
4 6    Blues
pandas によるデータの結合

アンチ結合とは何か？

左テーブルから交差部分を除いた結果となるセミジョインの表図

アンチ結合

  • 左側のテーブルを返します。交差部分 {{1}} を除きます
  • 左のテーブルの列のみを返し、右は返しません
pandas によるデータの結合

ステップ 1 - アンチ結合

genres_tracks = genres.merge(top_tracks, on='gid', how='left', indicator=True)
print(genres_tracks.head())

  gid  name_x           tid     name_y           aid    mtid  composer         u_price  _merge   
0 1    Rock             2260.0  Don't Stop M...  185.0  1.0   Mercury, Fre...  0.99     both  
1 1    Rock             2933.0  Mysterious Ways  232.0  1.0   U2               0.99     both  
2 1    Rock             2618.0  Speed Of Light   212.0  1.0   Billy Duffy/...  0.99     both  
3 1    Rock             2998.0  When Love Co...  237.0  1.0   Bono/Clayton...  0.99     both 
4 5    Rock And Roll    NaN     NaN              NaN    NaN   NaN              NaN      left_only
pandas によるデータの結合

ステップ 2 - アンチ結合

gid_list = genres_tracks.loc[genres_tracks['_merge'] == 'left_only', 'gid']
print(gid_list.head())

23     5
34     9
36    11
37    12
38    13
Name: gid, dtype: int64
pandas によるデータの結合

ステップ 3 - アンチ結合

genres_tracks = genres.merge(top_tracks, on='gid', how='left', indicator=True)
gid_list = genres_tracks.loc[genres_tracks['_merge'] == 'left_only','gid']
non_top_genres = genres[genres['gid'].isin(gid_list)]

print(non_top_genres.head())

  gid  name          
0 5    Rock And Roll 
1 9    Pop           
2 11   Bossa Nova    
3 12   Easy Listening
4 13   Heavy Metal
pandas によるデータの結合

練習しましょう！

pandas によるデータの結合

Preparing Video For Download...