Dados ausentes e imputação

Introdução a Python no Power BI

Jacob H. Marquez

Data Scientist

O que são dados ausentes?

Valores comuns para "ausente":

  • null
  • NA
  • 99
  • ""
Introdução a Python no Power BI

O que são dados ausentes?

Valores comuns para "ausente":

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Introdução a Python no Power BI

Por que os dados ficam ausentes?

  • A pessoa esqueceu ou recusou responder a uma pergunta da pesquisa
  • A pessoa desistiu da segunda parte do estudo
  • Houve uma falha no instrumento de medição
  • Leis de privacidade restringem o uso dos dados
Introdução a Python no Power BI

É ausente ao acaso?

Ausente ao acaso

Tabela de chuva, em polegadas, em três cidades — Seattle, New York City e Paris.

Introdução a Python no Power BI

É ausente ao acaso?

Ausente não ao acaso

Tabela de chuva, em polegadas, em três cidades — Seattle, New York City e Paris. Uma linha de Seattle está ausente.

Introdução a Python no Power BI

É ausente ao acaso?

Ausente não ao acaso

Tabela de chuva, em polegadas, em três cidades — Seattle, New York City e Paris. Uma linha de Seattle está ausente.

  • O instrumento não detecta leituras baixas
  • Alguns grupos tendem a não revelar informações
Introdução a Python no Power BI

Como tratar dados ausentes?

Ausente não ao acaso

  • Pausar a análise
  • Entender os motivos da ausência
  • Coletar mais dados
  • Documentar claramente limitações e suposições

Ausente ao acaso

  • Excluir as observações
  • Adicionar variável indicadora: ausente=1, não=0
  • Imputação
Introdução a Python no Power BI

Imputação

Definição: substituir um valor ausente por outro.

Tipos de imputação:

  • Média
  • Mediana
  • Moda
  • Valores anterior ou próximo

Melhor quando até 5% da coluna está ausente.

Lembre-se de ordenar os valores!

Introdução a Python no Power BI

Imputação - Exemplo

Ausente ao acaso

Tabela de chuva, em polegadas, em três cidades — Seattle, New York City e Paris — com observações ausentes.

Imputação pela mediana

Tabela de chuva, em polegadas, em três cidades — Seattle, New York City e Paris. Observações ausentes preenchidas com a mediana da cidade.

Introdução a Python no Power BI

Conjunto de dados

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Introdução a Python no Power BI

Vamos praticar!

Introdução a Python no Power BI

Preparing Video For Download...