Fontes de dados

Gestão Responsável de Dados em IA

Maria Prokofieva

Lead ML engineer

A seguir…

  • Tipos de fontes de dados
  • Limitações e seleção
  • Integração de múltiplas fontes

Pessoas pegando documentos de prateleiras, usando lupa e buscando arquivos em banco de dados eletrônico

Gestão Responsável de Dados em IA

Por que a fonte de dados é importante

  • Integridade
  • Diversidade
  • Representação justa

cozinhando fonte de dados

1 Imagem de Streamline HQ
Gestão Responsável de Dados em IA

Tipos por origem

  • Primária

    • Dados coletados no projeto
    • Conformidade e consentimento

  • Secundária

    • Dados obtidos de recursos existentes
    • Acordos de licença

Conceito abstrato de contrato de licença

Gestão Responsável de Dados em IA

Tipos por natureza

  • Quantitativas

    • Dados numéricos

  • Qualitativas

    • Não numéricos

  • Mistas

    • Combinação de numéricos e não numéricos

números para texto

1 Imagem de Streamline HQ
Gestão Responsável de Dados em IA

Tipos por temporalidade

  • Estáticos
    • Não mudam ao longo do tempo
    • Dados de censo
    • Endereços corporativos
  • Dinâmicos
    • Atualizados em tempo real
    • Fluxos de redes sociais
    • API
    • Feeds do mercado financeiro
    • Dados de sensores

fluxos dinâmicos

1 Imagem de Streamline HQ
Gestão Responsável de Dados em IA

Diversidade e equidade nas fontes de dados

  • Vieses diretos de quem coleta
  • Checagens de viés mensuráveis
  • Não representam o presente; vieses desatualizados
  • Vieses herdados do contexto original
  • Análise mais nuanceada
  • Evoluem continuamente; podem introduzir vieses em tempo real
Gestão Responsável de Dados em IA

Projeto: fluxo de tráfego urbano

Fontes de dados:

  • Dados históricos de tráfego
  • Atas de reuniões da câmara municipal
  • Dados de rastreamento por GPS

Projeto de fluxo de tráfego urbano

1 Imagens de Streamline HQ
Gestão Responsável de Dados em IA

Dados históricos de tráfego

  • Secretaria municipal de transportes
  • Últimos 5 anos
  • Inclui contagem de veículos e hora do dia/semana

É uma fonte primária estática e quantitativa

dados de tráfego

1 Imagem de Streamline HQ
Gestão Responsável de Dados em IA

Atas de reuniões da câmara

  • Registros públicos no site da câmara
  • Resumos de urbanismo e gestão do tráfego

É uma fonte secundária qualitativa

atas

1 Imagem de Streamline HQ
Gestão Responsável de Dados em IA

Dados de GPS

  • Fonte primária dinâmica
  • Insights imediatos sobre condições, velocidades e atrasos

GPS

1 Imagem de Streamline HQ
Gestão Responsável de Dados em IA

Vamos praticar!

Gestão Responsável de Dados em IA

Preparing Video For Download...