Considerações finais

Tratamento de Dados Ausentes com Imputações em R

Michal Oleszak

Machine Learning Engineer

O que você sabe

Capítulo 1: O problema dos dados ausentes:

  • Modelar dados incompletos requer tratamento especial.
  • Três mecanismos de ausência: MCAR, MAR e MNAR.
  • Visualizações e testes estatísticos revelam padrões de ausência.

Capítulo 2: Imputação baseada em doadores:

  • Imputação pela média costuma ser uma má escolha.
  • Imputação hot-deck.
  • Imputação k-Nearest-Neighbors.
Tratamento de Dados Ausentes com Imputações em R

O que você sabe

Capítulo 3: Imputação baseada em modelos

  • Iterar sobre variáveis e imputá-las até convergir.
  • Replicar a variabilidade ao amostrar de distribuições condicionais.
  • Imputação com árvores usando random forests.

Capítulo 4: Incerteza da imputação

  • Imputação múltipla por bootstrapping.
  • Imputação múltipla com MICE.
Tratamento de Dados Ausentes com Imputações em R

Qual método de imputação escolher?

Algumas diretrizes soltas:

  • Dados enormes ou precisa rodar em tempo real em produção?

    Use imputação hot-deck.

  • Suspeita de relações específicas entre variáveis com base no domínio?

    Use imputação baseada em modelos.

  • Não precisa ser muito rápido e as relações não são óbvias?

    Use kNN ou imputação com árvores.

Tratamento de Dados Ausentes com Imputações em R

Como estimar a incerteza da imputação?

Algumas diretrizes soltas:

  • Precisa ser relativamente rápido?
  • Você tem ideias sobre quais modelos usar e como especificá-los?

Use MICE.

  • Quer usar um método não paramétrico (kNN, hot-deck)?
  • Não quer se preocupar com suposições de modelos específicos?

Use bootstrapping.

Tratamento de Dados Ausentes com Imputações em R

Próximos passos

  • miceVignettes:

    • Imputação passiva e pós-processamento
    • Imputação de dados multinível
    • Análise de sensibilidade

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • Outros pacotes R: Amelia, mi

A capa do livro "Flexible Imputation of Missing Data", de Stef van Buuren.

Tratamento de Dados Ausentes com Imputações em R

Parabéns e boa sorte!

Tratamento de Dados Ausentes com Imputações em R

Preparing Video For Download...