Zajištění standardů kvality dat s DevOps

Koncepty DevOps

Cem Sakarya

DevOps Risk Advisor

DevOps zajišťuje kvalitní kód

  Dobrý kód vede k dobrým datům, která vedou k dobrému ML.

  • Většina softwaru pracuje s daty
  • Kvalitní software zajišťuje vysokou kvalitu dat
  • DevOps pomáhá udržovat kvalitu softwaru
Koncepty DevOps

Kvalita dat

 

  • Jak důvěryhodné jsou informace?
  • Nejaktuálnější a nejpřesnější informace
  • Může být obtížné a nákladné toho dosáhnout
  • Ne všechna data vyžadují stejnou kvalitu
  • Kvalita dat má mnoho prvků
Koncepty DevOps

Prvky kvality dat

  Prvky kvality dat: Přesnost, Úplnost, Konzistence, Relevance, Aktuálnost

 

  • Prvky rozkládají a definují kvalitu dat
  • Měly by být sledovány a standardizovány
Koncepty DevOps

   

Prvky kvality dat: Přesnost, Úplnost, Konzistence, Relevance, Aktuálnost; zvýrazněna Přesnost

   

  • Jsou data ve všech detailech správná?
  • Měla by být důsledně monitorována
Koncepty DevOps

   

Prvky kvality dat: Přesnost, Úplnost, Konzistence, Relevance, Aktuálnost; zvýrazněna Úplnost

   

  • Jak jsou data úplná?
  • Ověření, zda nedochází ke ztrátě dat při uložení do databáze
  • Ověření, zda nedochází ke ztrátě dat při přesunu mezi databázemi
Koncepty DevOps

   

Prvky kvality dat: Přesnost, Úplnost, Konzistence, Relevance, Aktuálnost; zvýrazněna Konzistence

   

  • Konzistence se týká spolehlivosti informací
  • Označuje se také jako integrita dat
  • Měla by být důsledně monitorována a testována
Koncepty DevOps

   

Prvky kvality dat: Přesnost, Úplnost, Konzistence, Relevance, Aktuálnost; zvýrazněna Relevance

   

  • Uchovávání a zpracování pouze relevantních informací
  • Irelevantní informace plýtvají časem a zdroji
Koncepty DevOps

   

Prvky kvality dat: Přesnost, Úplnost, Konzistence, Relevance, Aktuálnost; zvýrazněna Aktuálnost

   

  • Jak aktuální jsou informace?
  • Stará data mohou být nahrazena novějšími informacemi
  • Surová data v mikroslužbách nejsou využívána v datové analýze
  • Mikroslužby komunikují prostřednictvím volání API pro získání nejaktuálnějších informací
  • Data v mikroslužbách by měla být replikována v přijatelné frekvenci
Koncepty DevOps

Pojďme si procvičit!

Koncepty DevOps

Preparing Video For Download...