Zapewnianie standardów jakości danych z DevOps

Koncepcje DevOps

Cem Sakarya

DevOps Risk Advisor

DevOps zapewnia dobry kod

  Dobry kod prowadzi do dobrych danych, co przekłada się na dobre ML.

  • Większość oprogramowania przetwarza dane
  • Dobre oprogramowanie zapewnia wysoką jakość danych
  • DevOps pomaga utrzymać wysoką jakość oprogramowania
Koncepcje DevOps

Jakość danych

 

  • Jak wiarygodne są informacje?
  • Najnowsze i najbardziej dokładne informacje
  • Może być trudna i kosztowna do osiągnięcia
  • Nie wszystkie dane wymagają tej samej jakości
  • Jakość danych obejmuje wiele elementów
Koncepcje DevOps

Elementy jakości danych

  Elementy jakości danych: Dokładność, Kompletność, Spójność, Trafność, Aktualność

 

  • Elementy opisują i definiują jakość danych
  • Powinny być śledzone i standaryzowane
Koncepcje DevOps

   

Elementy jakości danych: Dokładność, Kompletność, Spójność, Trafność, Aktualność; wyróżniona Dokładność

   

  • Czy dane są poprawne we wszystkich szczegółach?
  • Powinna być ściśle monitorowana
Koncepcje DevOps

   

Elementy jakości danych: Dokładność, Kompletność, Spójność, Trafność, Aktualność; wyróżniona Kompletność

   

  • Jak kompletne są dane?
  • Sprawdzenie, czy dane nie są tracone podczas zapisu do bazy
  • Sprawdzenie, czy dane nie są tracone podczas migracji między bazami
Koncepcje DevOps

   

Elementy jakości danych: Dokładność, Kompletność, Spójność, Trafność, Aktualność; wyróżniona Spójność

   

  • Spójność dotyczy wiarygodności informacji
  • Określana również jako integralność danych
  • Powinna być ściśle monitorowana i testowana
Koncepcje DevOps

   

Elementy jakości danych: Dokładność, Kompletność, Spójność, Trafność, Aktualność; wyróżniona Trafność

   

  • Przechowywanie i przetwarzanie wyłącznie trafnych informacji
  • Nieistotne informacje marnują czas i zasoby
Koncepcje DevOps

   

Elementy jakości danych: Dokładność, Kompletność, Spójność, Trafność, Aktualność; wyróżniona Aktualność

   

  • Jak aktualne są informacje?
  • Stare dane mogą być zastępowane nowszymi
  • Surowe dane w mikroserwisach nie są używane w analizie danych
  • Mikroserwisy komunikują się przez wywołania API, aby uzyskać najnowsze informacje
  • Dane w mikroserwisach powinny być replikowane z odpowiednią częstotliwością
Koncepcje DevOps

Czas na ćwiczenia!

Koncepcje DevOps

Preparing Video For Download...