Kwaliteitsnormen voor data borgen met DevOps

DevOps-concepten

Cem Sakarya

DevOps Risk Advisor

DevOps borgt goede code

  Goede code levert goede data op, wat leidt tot goede ml.

  • De meeste software verwerkt data
  • Goede software levert data van hoge kwaliteit
  • DevOps helpt software van hoge kwaliteit te borgen
DevOps-concepten

Datakwaliteit

 

  • Hoe betrouwbaar is de info?
  • Meest recente en nauwkeurige info
  • Kan lastig en duur zijn
  • Niet alle data vereist dezelfde kwaliteit
  • Data-kwaliteit heeft meerdere elementen
DevOps-concepten

Elementen van datakwaliteit

  Elementen van datakwaliteit: Nauwkeurigheid, Volledigheid, Consistentie, Relevantie, Tijdigheid

 

  • Elementen definiëren datakwaliteit
  • Ze moeten worden gevolgd en gestandaardiseerd
DevOps-concepten

   

Data-kwaliteit: Nauwkeurigheid, Volledigheid, Consistentie, Relevantie, Tijdigheid; Nauwkeurigheid gemarkeerd

   

  • Kloppen de data in alle details?
  • Moet strak worden gemonitord
DevOps-concepten

   

Data-kwaliteit: Nauwkeurigheid, Volledigheid, Consistentie, Relevantie, Tijdigheid; Volledigheid gemarkeerd

   

  • Hoe volledig zijn de data?
  • Check of data verloren gaan bij opslag in een database
  • Check of data verloren gaan bij verplaatsing tussen databases
DevOps-concepten

   

Data-kwaliteit: Nauwkeurigheid, Volledigheid, Consistentie, Relevantie, Tijdigheid; Consistentie gemarkeerd

   

  • Consistentie gaat over betrouwbaarheid
  • Ook wel data-integriteit genoemd
  • Moet strak worden gemonitord en getest
DevOps-concepten

   

Data-kwaliteit: Nauwkeurigheid, Volledigheid, Consistentie, Relevantie, Tijdigheid; Relevantie gemarkeerd

   

  • Alleen relevante info bewaren en verwerken
  • Irrelevante info kost tijd en middelen
DevOps-concepten

   

Data-kwaliteit: Nauwkeurigheid, Volledigheid, Consistentie, Relevantie, Tijdigheid; Tijdigheid gemarkeerd

   

  • Hoe actueel is de info?
  • Oude data kunnen vervangen zijn door recentere info
  • Ruwe data in microservices worden niet geanalyseerd
  • Microservices communiceren via API-calls voor de meest recente info
  • Data in microservices moeten met acceptabele frequentie worden gerepliceerd
DevOps-concepten

Laten we oefenen!

DevOps-concepten

Preparing Video For Download...