किसी वैरिएबल में missingness का विज़ुअलाइज़ेशन

Python में Missing Data से निपटना

Suraj Donthi

Deep Learning & Computer Vision Consultant

किसी वैरिएबल में missingness

देखें कि एक वैरिएबल की missingness दूसरे वैरिएबल के साथ कैसे बदलती है

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

किसी वैरिएबल में missingness

देखें कि एक वैरिएबल की missingness दूसरे वैरिएबल के साथ कैसे बदलती है

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

किसी वैरिएबल में missingness

देखें कि एक वैरिएबल की missingness दूसरे वैरिएबल के साथ कैसे बदलती है

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

किसी वैरिएबल में missingness

देखें कि एक वैरिएबल की missingness दूसरे वैरिएबल के साथ कैसे बदलती है

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

किसी वैरिएबल में missingness

देखें कि एक वैरिएबल की missingness दूसरे वैरिएबल के साथ कैसे बदलती है

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

Dummy वैल्यू भरना

from numpy.random import rand


BMI_null = diabetes['BMI'].isnull()    
num_nulls = BMI_null.sum()


# Generate random values
dummy_values = rand(num_nulls)

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

Dummy वैल्यू भरना

from numpy.random import rand

BMI_null = diabetes['BMI'].isnull()    
num_nulls = BMI_null.sum()

# Generate random values
dummy_values = rand(num_nulls)
# Shift to -2 & -1
dummy_values = dummy_values - 2

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

Dummy वैल्यू भरना

from numpy.random import rand

BMI_null = diabetes['BMI'].isnull()    
num_nulls = BMI_null.sum()

# Generate random values
dummy_values = rand(num_nulls)
# Shift to -2 & -1
dummy_values = dummy_values - 2
# Scale to 0.075 of Column Range
BMI_range = BMI.max() - BMI.min()
dummy_values = dummy_values * 0.075 * BMI_range

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

Dummy वैल्यू भरना

from numpy.random import rand

BMI_null = diabetes['BMI'].isnull()    
num_nulls = BMI_null.sum()

# Generate random values
dummy_values = rand(num_nulls)
# Shift to -2 & -1
dummy_values = dummy_values - 2
# Scale to 0.075 of Column Range
BMI_range = BMI.max() - BMI.min()
dummy_values = dummy_values * 0.075 * BMI_range
# Shift to Column Minimum
dummy_values = (rand(num_nulls) - 2) 
        * 0.075 * BMI_range + BMI.min()

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

from numpy.random import rand

def fill_dummy_values(df, scaling_factor):   
  # Create copy of dataframe
  df_dummy = df.copy(deep=True)
  # Iterate over each column
  for col in df_dummy:

    # Get column, column missing values and range
    col = df_dummy[col]
    col_null = col.isnull()    
    num_nulls = col_null.sum()
    col_range = col.max() - col.min()

    # Shift and scale dummy values
    dummy_values = (rand(num_nulls) - 2) 
    dummy_values = dummy_values * scaling_factor * col_range + col.min()

    # Return dummy values
    col[col_null] = dummy_values
  return df_dummy

# Create dummy dataframe
diabetes_dummy = fill_dummy_values(diabetes)

# Get missing values of both columns for coloring
nullity=diabetes.Serum_Insulin.isnull() | diabetes.BMI.isnull()
# Generate scatter plot
diabetes_dummy.plot(x='Serum_Insulin', y='BMI', kind='scatter', alpha=0.5,

                      c=nullity, cmap='rainbow')

BMI बनाम Serum Insulin का missingness स्कैटर प्लॉट

Note: Sum (+) is equivalent to logical OR (|) for boolean values.

अभ्यास करते हैं!

Python में Missing Data से निपटना