Problemas comuns de dados

Introdução à alfabetização em dados

Anneleen Rummens

Data Scientist

Dados sujos

  • Os dados sujos são:

    • Incorretos
    • Incompletos
    • Inconsistentes

  • Causados por erros humanos, problemas técnicos ou problemas com o processo de coleta de dados

  • Princípio de "lixo dentro, lixo fora": dados sujos podem levar a conclusões erradas

Janela suja

Introdução à alfabetização em dados

Erros de dados

  • Os dados estão incorretos ou inconsistentes
  • Normalmente causados por erro humano ou técnico no registro do valor ou formato
  • Técnicas para combater:
    • Se o valor original ou o formato válido for conhecido: corrigir dados
    • Se desconhecido: descartar dados

Quebra-cabeça com a peça errada

Introdução à alfabetização em dados

Dados faltantes

  • Os dados estão incompletos
  • Problemático se:
    • Muitos pontos de dados estão faltando
    • Há padrões subjacentes nos dados faltantes
  • Técnicas para combater:
    • Descarte de dados
    • Imputação

Quebra-cabeça com peça faltando

Introdução à alfabetização em dados

Vieses nos dados

  • Vieses sociais podem se refletir como vieses nos dados
  • Levam a dados e resultados não representativos
  • Difícil de detectar e resolver
  • Técnicas para combater:
    • Processo sólido de coleta de dados
    • Conscientização nas conclusões
    • Modelos de IA explicáveis

Quebra-cabeça cinza com peças brancas fora

Introdução à alfabetização em dados

Limpeza de dados

  • Conjunto de técnicas para combater problemas de dados
  • Etapa importante de preparação para qualquer análise de dados
  • Mas nem todos os problemas de dados são (completamente) solucionáveis
  • Sempre é possível fazer algum tipo de análise

Mão com luva segurando um frasco de spray

Introdução à alfabetização em dados

Vamos praticar!

Introdução à alfabetização em dados

Preparing Video For Download...