Loại bỏ đặc trưng tương quan cao

Giảm Chiều Dữ Liệu với Python

Jeroen Boeye

Head of Machine Learning, Faktion

Dữ liệu tương quan cao

pairplot tương quan cao

Các đặc trưng tương quan cao

ma trận tương quan cao

Loại bỏ đặc trưng tương quan cao

# Create positive correlation matrix
corr_df = chest_df.corr().abs()

# Create and apply mask
mask = np.triu(np.ones_like(corr_df, dtype=bool))

tri_df = corr_df.mask(mask)

tri_df

Loại bỏ đặc trưng tương quan cao

# Find columns that meet threshold 
to_drop = [c for c in tri_df.columns if any(tri_df[c] > 0.95)]

print(to_drop)

['Suprasternale height', 'Cervicale height']

# Drop those columns
reduced_df = chest_df.drop(to_drop, axis=1)

Chọn đặc trưng

Sơ đồ chọn đặc trưng

Trích xuất đặc trưng

Sơ đồ trích xuất đặc trưng

Lưu ý về tương quan - Bộ tứ của Anscombe

Bộ tứ của Anscombe

Lưu ý về tương quan - quan hệ nhân quả

sns.scatterplot(x="N firetrucks sent to fire", 
                y="N wounded by fire",data=fire_df)

xe cứu hỏa vs. số người bị thương

Hãy thực hành!

Giảm Chiều Dữ Liệu với Python