Garantindo padrões de qualidade de dados com DevOps

Conceitos de DevOps

Cem Sakarya

DevOps Risk Advisor

DevOps garante bom código

  Bom código gera bons dados, que levam a bom ml.

  • A maior parte do software lida com dados
  • Bom software gera dados de alta qualidade
  • DevOps ajuda a manter alta qualidade no software
Conceitos de DevOps

Qualidade de dados

 

  • Quão confiável é a informação?
  • Informação mais recente e precisa
  • Pode ser difícil e caro de alcançar
  • Nem todos os dados precisam da mesma qualidade
  • Há muitos elementos na Qualidade de Dados
Conceitos de DevOps

Elementos da qualidade de dados

  Elementos de Qualidade de Dados: Acurácia, Completude, Consistência, Relevância, Atualidade

 

  • Elementos detalham e definem a Qualidade de Dados
  • Devem ser rastreados e padronizados
Conceitos de DevOps

   

Elementos de Qualidade de Dados: Acurácia, Completude, Consistência, Relevância, Atualidade; Acurácia em destaque

   

  • Os dados estão corretos em todos os detalhes?
  • Deve ser monitorada de perto
Conceitos de DevOps

   

Elementos de Qualidade de Dados: Acurácia, Completude, Consistência, Relevância, Atualidade; Completude em destaque

   

  • Quão abrangentes são os dados?
  • Verifique se há perda ao armazenar no banco de dados
  • Verifique se há perda ao mover entre bancos de dados
Conceitos de DevOps

   

Elementos de Qualidade de Dados: Acurácia, Completude, Consistência, Relevância, Atualidade; Consistência em destaque

   

  • Consistência é sobre a confiabilidade da informação
  • Também é chamada de Integridade de Dados
  • Deve ser monitorada e testada de perto
Conceitos de DevOps

   

Elementos de Qualidade de Dados: Acurácia, Completude, Consistência, Relevância, Atualidade; Relevância em destaque

   

  • Manter e tratar apenas a informação relevante
  • Informação irrelevante desperdiça tempo e recursos
Conceitos de DevOps

   

Elementos de Qualidade de Dados: Acurácia, Completude, Consistência, Relevância, Atualidade; Atualidade em destaque

   

  • Quão atual é a informação?
  • Dados antigos podem ser trocados por informação mais recente
  • Dados brutos em microsserviços não são usados em análise
  • Microsserviços se comunicam via chamadas de API para obter a informação mais recente
  • Os dados nos microsserviços devem ser replicados com frequência aceitável
Conceitos de DevOps

Vamos praticar!

Conceitos de DevOps

Preparing Video For Download...