Visualiser l'absence de valeurs selon une variable

Gérer les données manquantes avec Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Absence de valeurs selon une variable

  • Visualiser comment l'absence de valeurs d'une variable varie selon une autre

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python

Absence de valeurs selon une variable

  • Visualiser comment l'absence de valeurs d'une variable varie selon une autre

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python

Absence de valeurs selon une variable

  • Visualiser comment l'absence de valeurs d'une variable varie selon une autre

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python

Absence de valeurs selon une variable

  • Visualiser comment l'absence de valeurs d'une variable varie selon une autre

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python

Absence de valeurs selon une variable

  • Visualiser comment l'absence de valeurs d'une variable varie selon une autre

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python

Remplir avec des valeurs factices

from numpy.random import rand


BMI_null = diabetes['BMI'].isnull()    
num_nulls = BMI_null.sum()


# Generate random values
dummy_values = rand(num_nulls)

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python

Remplir avec des valeurs factices

from numpy.random import rand

BMI_null = diabetes['BMI'].isnull()    
num_nulls = BMI_null.sum()

# Generate random values
dummy_values = rand(num_nulls)
# Shift to -2 & -1
dummy_values = dummy_values - 2

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python

Remplir avec des valeurs factices

from numpy.random import rand

BMI_null = diabetes['BMI'].isnull()    
num_nulls = BMI_null.sum()

# Generate random values
dummy_values = rand(num_nulls)
# Shift to -2 & -1
dummy_values = dummy_values - 2
# Scale to 0.075 of Column Range
BMI_range = BMI.max() - BMI.min()
dummy_values = dummy_values * 0.075 * BMI_range

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python

Remplir avec des valeurs factices

from numpy.random import rand

BMI_null = diabetes['BMI'].isnull()    
num_nulls = BMI_null.sum()

# Generate random values
dummy_values = rand(num_nulls)
# Shift to -2 & -1
dummy_values = dummy_values - 2
# Scale to 0.075 of Column Range
BMI_range = BMI.max() - BMI.min()
dummy_values = dummy_values * 0.075 * BMI_range
# Shift to Column Minimum
dummy_values = (rand(num_nulls) - 2) 
        * 0.075 * BMI_range + BMI.min()

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Gérer les données manquantes avec Python
from numpy.random import rand

def fill_dummy_values(df, scaling_factor):   
  # Create copy of dataframe
  df_dummy = df.copy(deep=True)
  # Iterate over each column
  for col in df_dummy:

    # Get column, column missing values and range
    col = df_dummy[col]
    col_null = col.isnull()    
    num_nulls = col_null.sum()
    col_range = col.max() - col.min()

    # Shift and scale dummy values
    dummy_values = (rand(num_nulls) - 2) 
    dummy_values = dummy_values * scaling_factor * col_range + col.min()

    # Return dummy values
    col[col_null] = dummy_values
  return df_dummy
Gérer les données manquantes avec Python
# Create dummy dataframe
diabetes_dummy = fill_dummy_values(diabetes)

# Get missing values of both columns for coloring
nullity=diabetes.Serum_Insulin.isnull() | diabetes.BMI.isnull()
# Generate scatter plot
diabetes_dummy.plot(x='Serum_Insulin', y='BMI', kind='scatter', alpha=0.5,

                      c=nullity, cmap='rainbow')

Nuage de points : valeurs manquantes de l'IMC vs insuline sérique

Remarque : la somme (+) est équivalente à OU logique (|) pour les booléens.

Gérer les données manquantes avec Python

Passons à la pratique !

Gérer les données manquantes avec Python

Preparing Video For Download...