Os dados estão ausentes ao acaso?

Lidando com Dados Ausentes em Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Possíveis razões para dados ausentes

Observação $-$ (variável $\rightarrow$ campo de dados ou coluna em um DataFrame)

  • Valores ausentes simplesmente em instâncias ou intervalos aleatórios em uma variável
  • Valores ausentes devido a outra variável
  • Valores ausentes devido à ausência da mesma variável ou de outra
Lidando com Dados Ausentes em Python

Tipos de ausência

  1. Ausente Completamente ao Acaso (MCAR)
  2. Ausente ao Acaso (MAR)
  3. Ausente Não ao Acaso (MNAR)
Lidando com Dados Ausentes em Python

Ausente Completamente ao Acaso (MCAR)

Definição:

"A ausência não tem relação com nenhum valor, observado ou ausente"

Exemplo de Ausente Completamente ao Acaso

Lidando com Dados Ausentes em Python

MCAR - Um exemplo

msno.matrix(diabetes)

Ausente Completamente ao Acaso no conjunto diabetes

Lidando com Dados Ausentes em Python

Ausente ao Acaso (MAR)

Definição:

"Há uma relação sistemática entre a ausência e outros dados observados, mas não com os dados ausentes"

Exemplo de Ausente ao Acaso

Lidando com Dados Ausentes em Python

MAR - Um exemplo

msno.matrix(diabetes)

Ausente ao Acaso no conjunto diabetes

Lidando com Dados Ausentes em Python

Ausente Não ao Acaso (MNAR)

Definição:

"Há relação entre a ausência e seus próprios valores, ausentes ou não"

Exemplo de Ausente Não ao Acaso

Lidando com Dados Ausentes em Python

MNAR - Um exemplo

  • Padrão de ausência em diabetes ordenado por Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Ausente Não ao Acaso no conjunto diabetes

Lidando com Dados Ausentes em Python

Resumo

  • Possíveis razões para ausência
    • Ausente Completamente ao Acaso (MCAR),
    • Ausente ao Acaso (MAR) ou
    • Ausente Não ao Acaso (MNAR)
  • Detectar o padrão de ausência ordenando as variáveis
  • Mapear a ausência para MCAR, MAR e MNAR
Lidando com Dados Ausentes em Python

Vamos praticar!

Lidando com Dados Ausentes em Python

Preparing Video For Download...