次元削減の導入

Rによる次元削減

Matt Pickard

Owner, Pickard Predictives, LLC

次元

次元は整然データ表の縦方向の要素
次元 = 列 = 特徴量
次元数 = 列数

df %>% ncol()

縦方向の次元を強調した整然データ表

次元削減とは？

新しい情報がほぼない特徴を削除・統合する

例

列が多い整然データ表

次元削減とは？

新しい情報がほぼない特徴を削除・統合する

例

冗長な情報の特徴を強調した、列が多い整然データ表

次元削減とは？

新しい情報がほぼない特徴を削除・統合する

例

同一値の特徴を強調した、列が多い整然データ表

次元削減を視覚で理解

3D を 2D 面に投影

分散がない数値列の特定

df %>% 
  summarize(
    across(
      everything(), 
      ~ var(., na.rm = TRUE))) %>%

  pivot_longer(
    everything(), 
    "feature", 
    "variance")

# A tibble: 7 × 2
  feature              variance
  <chr>                   <dbl>
1 sqft_living           843534.
2 sqft_above            685735.
3 sqft_basement         195873.
4 sqft_living_near15    475480.
5 sqft_lot_near15    863386815.
6 num_garages                0 
7 num_hvac_units             0

相互情報量

共通部分のあるベン図

相互情報量

共通部分のあるベン図

相互情報量

共通部分のあるベン図

相互情報量

共通部分のあるベン図

相関プロットを作成する

library(corrr)

house_sales_df %>% select(where(is.numeric)) %>%

  correlate() %>%

  shave() %>%

  rplot(print_cor = TRUE) +

  theme(axis.text.x = element_text(angle = 90, hjust = 1))

相関プロット

演習に進みましょう！

Rによる次元削減