Garantir la qualité des données avec DevOps

Concepts DevOps

Cem Sakarya

DevOps Risk Advisor

DevOps garantit un bon code

  Un bon code produit de bonnes données, qui mènent à un bon ml.

  • La plupart des logiciels gèrent des données
  • Un bon logiciel produit des données de qualité
  • DevOps aide à maintenir une haute qualité logicielle
Concepts DevOps

Qualité des données

 

  • Quelle est la fiabilité de l'information ?
  • Informations récentes et exactes
  • Difficile et coûteux à atteindre
  • Tous les jeux de données n'exigent pas la même qualité
  • La qualité des données a de multiples facettes
Concepts DevOps

Éléments de la qualité des données

  Éléments de qualité des données : exactitude, exhaustivité, cohérence, pertinence, actualité

 

  • Ces éléments définissent et détaillent la qualité des données
  • Ils doivent être tracés et standardisés
Concepts DevOps

   

Éléments de qualité des données : exactitude, exhaustivité, cohérence, pertinence, actualité ; exactitude en surbrillance

   

  • Les données sont-elles correctes dans le détail ?
  • À surveiller de près
Concepts DevOps

   

Éléments de qualité des données : exactitude, exhaustivité, cohérence, pertinence, actualité ; exhaustivité en surbrillance

   

  • Quelle est l'exhaustivité des données ?
  • Vérifier les pertes lors du stockage en base
  • Vérifier les pertes lors des transferts entre bases
Concepts DevOps

   

Éléments de qualité des données : exactitude, exhaustivité, cohérence, pertinence, actualité ; cohérence en surbrillance

   

  • La cohérence concerne la fiabilité de l'information
  • Aussi appelée intégrité des données
  • À surveiller et tester régulièrement
Concepts DevOps

   

Éléments de qualité des données : exactitude, exhaustivité, cohérence, pertinence, actualité ; pertinence en surbrillance

   

  • Ne conserver et traiter que l'information pertinente
  • L'information hors sujet fait perdre temps et ressources
Concepts DevOps

   

Éléments de qualité des données : exactitude, exhaustivité, cohérence, pertinence, actualité ; actualité en surbrillance

   

  • Quel est le niveau d'actualité de l'information ?
  • Les données anciennes peuvent être remplacées par des plus récentes
  • Les données brutes des microservices ne servent pas à l'analyse
  • Les microservices communiquent via des appels d'API pour obtenir l'info la plus récente
  • Les données dans les microservices doivent être répliquées à une fréquence acceptable
Concepts DevOps

Passons à la pratique !

Concepts DevOps

Preparing Video For Download...