मिसिंग वैल्यू या कम वैरिएंस वाली फीचर्स

Python में Dimensionality Reduction

Jeroen Boeye

Head of Machine Learning, Faktion

फ़ीचर सेलेक्टर बनाना

print(ansur_df.shape)

(6068, 94)

from sklearn.feature_selection import VarianceThreshold

sel = VarianceThreshold(threshold=1)

sel.fit(ansur_df)

mask = sel.get_support()
print(mask)

array([ True,  True, ..., False,  True])

फ़ीचर सेलेक्टर लागू करना

print(ansur_df.shape)

(6068, 94)

reduced_df = ansur_df.loc[:, mask]
print(reduced_df.shape)

(6068, 93)

वैरिएंस सेलेक्टर की सावधानियाँ

buttock_df.boxplot()

फ़ीचर बॉक्सप्लॉट

वैरिएंस को नॉर्मलाइज़ करना

from sklearn.feature_selection import VarianceThreshold

sel = VarianceThreshold(threshold=0.005)

sel.fit(ansur_df / ansur_df.mean())

mask = sel.get_support()
reduced_df = ansur_df.loc[:, mask]
print(reduced_df.shape)

(6068, 45)

Missing value सेलेक्टर

पोकेमोन सैंपल

Missing value सेलेक्टर

पोकेमोन सैंपल NaN

मिसिंग वैल्यू पहचानना

pokemon_df.isna()

पोकेमोन सैंपल NaN बूलियन

मिसिंग वैल्यू गिनना

pokemon_df.isna().sum()

Name         0
Type 1       0
Type 2     386
Total        0
HP           0
Attack       0
Defense      0
dtype: int64

मिसिंग वैल्यू गिनना

pokemon_df.isna().sum() / len(pokemon_df)

Name       0.00
Type 1     0.00
Type 2     0.48
Total      0.00
HP         0.00
Attack     0.00
Defense    0.00
dtype: float64

मिसिंग वैल्यू थ्रेशहोल्ड लागू करना

# 30% से कम मिसिंग वैल्यू = True value
mask = pokemon_df.isna().sum() / len(pokemon_df) < 0.3
print(mask)

Name        True
Type 1      True
Type 2     False
Total       True
HP          True
Attack      True
Defense     True
dtype: bool

मिसिंग वैल्यू थ्रेशहोल्ड लागू करना

reduced_df = pokemon_df.loc[:, mask]

reduced_df.head()

मास्क के बाद पोकेमोन सैंपल

अभ्यास करते हैं!

Python में Dimensionality Reduction