Bancos de dados e verificações de qualidade

Desmistificando Decision Science

Howard Friedman

Adjunct Professor at Columbia University

Fazendo triagem de fontes de dados

Nem todo dado é igualmente útil

  • Alguns conjuntos de dados exigem muita limpeza ou não têm variáveis relevantes
  • Outros podem nem valer o esforço

 

Triagem de dados ajuda a priorizar rápido

  • Avalie se um conjunto é viável antes de investir tempo e recursos

Comece pela disponibilidade

  • O acesso é fácil ou está atrás de paywall
  • Há barreiras de permissão ou segurança
  • Resolver isso cedo evita esforço perdido

Ícone de triagem

Desmistificando Decision Science

Verificações essenciais

Considere os custos

  • Há taxas de licença ou de acesso
  • Será preciso pagar por armazenamento ou ferramentas especializadas

Avalie a utilidade

  • O conjunto contém o que você precisa para a análise
  • Verifique escopo, detalhe, completude e relevância das variáveis

Verifique a frequência de atualização

  • Previsões em tempo real exigem dados em tempo real ou atualizados regularmente
  • Ciclos de atualização desalinhados podem tornar os dados inutilizáveis

Avalie a resolução geográfica

  • Os dados alinham com o nível espacial que sua análise requer
  • Dados nacionais não ajudam se você precisa de granularidade por CEP
Desmistificando Decision Science

Verificações de qualidade de dados

Qualidade de dados importa

  • Dados ruins comprometem modelos e decisões
  • "Lixo entra, lixo sai" é um risco real em ciência de decisão

GIGO

Fique de olho em ausências

  • Percentual de valores ausentes em cada coluna
  • Padrões que indiquem problemas na coleta

Faça checagens de intervalo

  • Há valores que não fazem sentido no seu contexto
  • Exemplos: age = 450 ou price = -$10
  • Use checagens para sinalizar problemas cedo
Desmistificando Decision Science

Outras checagens

Revise outliers

  • Use histogramas ou boxplots para visualizar
  • Converse com as partes interessadas antes de excluir algo

Avalie a atualidade

  • Seus dados são recentes o bastante para serem relevantes
  • Contextos dinâmicos exigem dados atualizados com frequência

Garanta consistência de formatação

  • Procure formatos de data inconsistentes, erros de grafia ou nomes de colunas divergentes
  • Limpe e padronize para evitar problemas na análise

QA

Desmistificando Decision Science

Vamos praticar!

Desmistificando Decision Science

Preparing Video For Download...