Visualizando padrões de dados ausentes

Tratamento de Dados Ausentes com Imputações em R

Michal Oleszak

Machine Learning Engineer

Problemas do uso de testes

Detectar padrões de dados ausentes com testes estatísticos pode ser trabalhoso.
O teste t tem muitas suposições sobre os dados.
Inferências baseadas em p-values são problemáticas (nível de significância, p-hacking).

Visualizando dados ausentes

Outra abordagem: visualizações!
Fáceis de usar.
Capazes de detectar padrões de ausência.
Geram insights sobre outros aspectos da qualidade dos dados.

O pacote VIM traz ótimas ferramentas para visualizar dados ausentes. Nesta lição:

Gráfico de agregação
Gráfico spine
Gráfico mosaico

Gráfico de agregação

nhanes %>% aggr(combined = TRUE, numbers = TRUE)

Um gráfico de agregação em grade que apresenta todas as combinações de valores ausentes e observados em diferentes variáveis do conjunto de dados biopics. Para cada combinação, mostra a porcentagem de observações com o padrão correspondente de ausência.

Gráfico spine

nhanes %>% select(Gender, TotChol) %>% spineMiss()

O gráfico spine tem duas barras para homens e mulheres. Em cada barra, é mostrada a porcentagem de valores ausentes na variável colesterol total para o gênero correspondente.

Gráfico mosaico

nhanes %>% mosaicMiss(highlight = "TotChol", plotvars = c("Gender", "PhysActive"))

Um gráfico mosaico composto por um conjunto de ladrilhos formando um retângulo. Cada ladrilho corresponde a um valor de "Gender" e um valor de "PhysActive". Em cada ladrilho, é mostrada a porcentagem de valores ausentes na variável colesterol total.

Vamos plotar o que está faltando!

Tratamento de Dados Ausentes com Imputações em R