Juntando tudo

Tratamento de Dados Ausentes com Imputações em R

Michal Oleszak

Machine Learning Engineer

Estudo de caso: liberdades civis na África

head(africa)

  year      country gdp_pc  infl trade    civlib population
1 1972 Burkina Faso    377 -2.92 29.69 0.5000000    5848380
2 1973 Burkina Faso    376  7.60 31.31 0.5000000    5958700
3 1974 Burkina Faso    393  8.72 35.22 0.3333333    6075700
4 1975 Burkina Faso    416 18.76 40.11 0.3333333    6202000
5 1976 Burkina Faso    435 -8.40 37.76 0.5000000    6341030
6 1977 Burkina Faso    448 29.99 41.11 0.6666667    6486870

¹ Data source: https://scholar.harvard.edu/rbates/data

Modelagem com dados incompletos

Objetivo: investigar a relação entre liberdades civis, civlib, e PIB per capita, gdp_pc.

Visualizar dados incompletos.
- Quais variáveis faltam?
- Quais podem ser os mecanismos de ausência?
Imputar os dados faltantes e avaliar a qualidade.
Rodar um modelo nos dados imputados, considerando a incerteza da imputação.

O que você vai precisar

aggr()
spineMiss()
mice() - with() - pool()

Avaliando a imputação com MICE

mice() produz múltiplos conjuntos de dados imputados.
Visualizar cada um com as funções do VIM pode ser trabalhoso.
O pacote mice oferece gráficos próprios que lidam com múltiplos conjuntos automaticamente.

nhanes_multiimp <- mice(nhanes, m = 5, defaultMethod = "pmm")

stripplot(nhanes_multiimp, 
          Weight ~ Height | .imp,
          pch = 20, cex = 2)

Strip plot

Uma grade com seis gráficos de dispersão de Height vs Weight. Cada gráfico destaca os valores imputados em cor. Os valores imputados ficam próximos aos observados, sendo indistinguíveis exceto pela cor.

Vamos praticar!

Tratamento de Dados Ausentes com Imputações em R