Imputering med medelvärde, median & typvärde

Hantera saknade värden i Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Grundläggande imputeringstekniker

konstant (t.ex. 0)
medelvärde
median
typvärde eller vanligaste värde

Imputering med medelvärde

from sklearn.impute import SimpleImputer

diabetes_mean = diabetes.copy(deep=True)

mean_imputer = SimpleImputer(strategy='mean')

Imputering med medelvärde

from sklearn.impute import SimpleImputer
diabetes_mean = diabetes.copy(deep=True)
mean_imputer = SimpleImputer(strategy='mean')
diabetes_mean.iloc[:, :] = mean_imputer.fit_transform(diabetes_mean)

Imputering med median

diabetes_median = diabetes.copy(deep=True)
median_imputer = SimpleImputer(strategy='median')
diabetes_median.iloc[:, :] = median_imputer.fit_transform(diabetes_median)

Imputering med typvärde

diabetes_mode = diabetes.copy(deep=True)
mode_imputer = SimpleImputer(strategy='most_frequent')
diabetes_mode.iloc[:, :] = mode_imputer.fit_transform(diabetes_mode)

Imputering med konstant

diabetes_constant = diabetes.copy(deep=True)
constant_imputer = SimpleImputer(strategy='constant', fill_value=0))
diabetes_constant.iloc[:, :] = constant_imputer.fit_transform(diabetes_constant)

Spridningsdiagram över imputering

nullity = diabetes['Serum_Insulin'].isnull()+diabetes['Glucose'].isnull()

diabetes_mean.plot(x='Serum_Insulin', y='Glucose', kind='scatter', alpha=0.5,

                   c=nullity, cmap='rainbow', title='Mean Imputation')

Spridningsdiagram över medelvärdesimp. av diabetesdatamängd

Visualisera imputeringar

fig, axes = plt.subplots(nrows=2, ncols=2, figsize=(10, 10))

nullity = diabetes['Serum_Insulin'].isnull()+diabetes['Glucose'].isnull()

imputations = {'Mean Imputation': diabetes_mean, 
               'Median Imputation': diabetes_median, 
               'Most Frequent Imputation': diabetes_mode, 
               'Constant Imputation': diabetes_constant}

for ax, df_key in zip(axes.flatten(), imputations):

    imputations[df_key].plot(x='Serum_Insulin', y='Glucose', kind='scatter', 
                             alpha=0.5, c=nullity, cmap='rainbow', ax=ax, 
                             colorbar=False, title=df_key)

Grafisk visualisering av imputeringar av diabetesdatamängd

Sammanfattning

Du har lärt dig att

imputera med statistiska mått som medelvärde, median och typvärde
jämföra imputeringar grafiskt
analysera imputeringar

Nu kör vi en övning!

Hantera saknade värden i Python