Dados ausentes

Vencendo uma competição do Kaggle em Python

Yauhen Babakhin

Kaggle Grandmaster

Dados ausentes

ID Atributo categórico Atributo numérico Alvo binário
1 A 5.1 1
2 B 7.2 0
3 C 3.4 0
4 A NaN 1
5 NaN 2.6 0
6 A 5.3 0
Vencendo uma competição do Kaggle em Python

Imputar dados ausentes

 

Dados numéricos

  • Imputação por média/mediana
ID Atributo categórico Atributo numérico Alvo binário
1 A 5.1 1
2 B 7.2 0
3 C 3.4 0
4 A NaN 1
5 NaN 2.6 0
6 A 5.3 0
Vencendo uma competição do Kaggle em Python

Imputar dados ausentes

 

Dados numéricos

  • Imputação por média/mediana
  • Imputação por valor constante
ID Atributo categórico Atributo numérico Alvo binário
1 A 5.1 1
2 B 7.2 0
3 C 3.4 0
4 A 4,72 1
5 NaN 2.6 0
6 A 5.3 0
Vencendo uma competição do Kaggle em Python

Imputar dados ausentes

 

Dados numéricos

  • Imputação por média/mediana
  • Imputação por valor constante
ID Atributo categórico Atributo numérico Alvo binário
1 A 5.1 1
2 B 7.2 0
3 C 3.4 0
4 A -999 1
5 NaN 2.6 0
6 A 5.3 0
Vencendo uma competição do Kaggle em Python

Imputar dados ausentes

 

Dados numéricos

  • Imputação por média/mediana
  • Imputação por valor constante

Dados categóricos

  • Imputação pela categoria mais frequente
ID Atributo categórico Atributo numérico Alvo binário
1 A 5.1 1
2 B 7.2 0
3 C 3.4 0
4 A -999 1
5 NaN 2.6 0
6 A 5.3 0
Vencendo uma competição do Kaggle em Python

Imputar dados ausentes

 

Dados numéricos

  • Imputação por média/mediana
  • Imputação por valor constante

Dados categóricos

  • Imputação pela categoria mais frequente
  • Imputação com nova categoria
ID Atributo categórico Atributo numérico Alvo binário
1 A 5.1 1
2 B 7.2 0
3 C 3.4 0
4 A -999 1
5 A 2.6 0
6 A 5.3 0
Vencendo uma competição do Kaggle em Python

Imputar dados ausentes

 

Dados numéricos

  • Imputação por média/mediana
  • Imputação por valor constante

Dados categóricos

  • Imputação pela categoria mais frequente
  • Imputação com nova categoria
ID Atributo categórico Atributo numérico Alvo binário
1 A 5.1 1
2 B 7.2 0
3 C 3.4 0
4 A -999 1
5 MISS 2.6 0
6 A 5.3 0
Vencendo uma competição do Kaggle em Python

Encontrar dados ausentes

df.isnull().head(1)

         ID       cat       num    target
0     False     False     False     False

df.isnull().sum()

ID        0
cat       1
num       1
target    0
Vencendo uma competição do Kaggle em Python

Dados numéricos ausentes

# Import SimpleImputer
from sklearn.impute import SimpleImputer

# Tipos de imputação
mean_imputer = SimpleImputer(strategy='mean')
constant_imputer = SimpleImputer(strategy='constant', fill_value=-999)

# Imputação
df[['num']] = mean_imputer.fit_transform(df[['num']])
Vencendo uma competição do Kaggle em Python

Dados categóricos ausentes

# Import SimpleImputer
from sklearn.impute import SimpleImputer

# Tipos de imputação
frequent_imputer = SimpleImputer(strategy='most_frequent')
constant_imputer = SimpleImputer(strategy='constant', fill_value='MISS')

# Imputação
df[['cat']] = constant_imputer.fit_transform(df[['cat']])
Vencendo uma competição do Kaggle em Python

Vamos praticar!

Vencendo uma competição do Kaggle em Python

Preparing Video For Download...