Säkerställa datakvalitetsstandarder med DevOps

DevOps-koncept

Cem Sakarya

DevOps Risk Advisor

DevOps säkerställer god kod

  God kod driver god data som leder till god maskininlärning.

  • De flesta program hanterar data
  • God kod driver högkvalitativ data
  • DevOps bidrar till att hålla hög kvalitet i programvara
DevOps-koncept

Datakvalitet

 

  • Hur tillförlitlig är informationen?
  • Senaste och mest korrekta informationen
  • Kan vara svårt och kostsamt att uppnå
  • All data kräver inte samma kvalitetsnivå
  • Datakvalitet består av många delar
DevOps-koncept

Datakvalitetselement

  Datakvalitetselement: Noggrannhet, Fullständighet, Konsekvens, Relevans, Aktualitet

 

  • Elementen bryter ned och definierar datakvalitet
  • De bör spåras och standardiseras
DevOps-koncept

   

Datakvalitetselement: Noggrannhet, Fullständighet, Konsekvens, Relevans, Aktualitet; Noggrannhet markerad

   

  • Är datan korrekt i alla detaljer?
  • Bör övervakas noga
DevOps-koncept

   

Datakvalitetselement: Noggrannhet, Fullständighet, Konsekvens, Relevans, Aktualitet; Fullständighet markerad

   

  • Hur heltäckande är datan?
  • Kontrollera om data försvinner vid lagring i en databas
  • Kontrollera om data försvinner vid flytt mellan databaser
DevOps-koncept

   

Datakvalitetselement: Noggrannhet, Fullständighet, Konsekvens, Relevans, Aktualitet; Konsekvens markerad

   

  • Konsekvens handlar om informationens tillförlitlighet
  • Kallas även dataintegritet
  • Bör övervakas och testas noga
DevOps-koncept

   

Datakvalitetselement: Noggrannhet, Fullständighet, Konsekvens, Relevans, Aktualitet; Relevans markerad

   

  • Spara och hantera enbart relevant information
  • Irrelevant information slösar tid och resurser
DevOps-koncept

   

Datakvalitetselement: Noggrannhet, Fullständighet, Konsekvens, Relevans, Aktualitet; Aktualitet markerad

   

  • Hur aktuell är informationen?
  • Gammal data kan ersättas av nyare information
  • Rådata inom mikrotjänster används inte i dataanalys
  • Mikrotjänster kommunicerar via API-anrop för att hämta den senaste informationen
  • Data inom mikrotjänster bör replikeras med en lämplig frekvens
DevOps-koncept

Nu kör vi en övning!

DevOps-koncept

Preparing Video For Download...