Por que lidar com dados ausentes?
Lidando com Dados Ausentes em Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Por que existem dados ausentes?
- Dados do mundo real são bagunçados
Você sabia que 72% das organizações acreditam que problemas de qualidade de dados prejudicam a confiança e a percepção dos clientes?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Por que existem dados ausentes?
- Valores faltam no processo de aquisição de dados
- Sensores meteorológicos com falha em análises de clima
- Informações de pacientes incompletas para diagnóstico médico etc.
- Valores excluídos por engano
- Perda de dados
- Exclusão acidental por erro humano
Neste curso, você vai aprender
- a importância de tratar valores ausentes
- detectar valores ausentes nos seus dados bagunçados
- analisar os tipos de ausência
- tratar corretamente valores ausentes em
- numéricos
- séries temporais
- categóricos
Neste curso, você vai aprender
- imputar (substituir) valores ausentes com técnicas simples
- imputar com técnicas avançadas
- e avaliar o melhor método para tratar valores ausentes
Fluxo de trabalho para tratar valores ausentes
- Converter todos os valores ausentes em valores nulos.
- Analisar a quantidade e o tipo de ausência nos dados.
- Excluir ou imputar valores ausentes de forma apropriada.
- Avaliar e comparar o desempenho do conjunto de dados tratado/imputado.
Operações com valores NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Operações com valores NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Vamos praticar!
Lidando com Dados Ausentes em Python
