Jakość danych i ich pozyskiwanie

Koncepcje MLOps

Folkert Stijnman

ML Engineer

Jakość danych i ich pozyskiwanie

Czym jest jakość danych?

• Jakość danych mierzy, jak dobrze dane spełniają swoje przeznaczenie
• Oceniana przez różne wymiary
• Jakość modelu ML zależy od danych

Wymiary jakości danych

• Dokładność
• Kompletność
• Spójność
• Aktualność

Przykłady wymiarów jakości danych

Wymiar	Przykładowe pytanie	Przykład niskiej jakości
Dokładność	Czy dane poprawnie opisują klienta?	Wiek klienta w danych to 18 lat, a w rzeczywistości ma 32 lata.
Kompletność	Czy brakuje jakichś danych o kliencie?	W przypadku 80% klientów nie mamy nazwiska.
Spójność	Czy definicja klienta jest jednolita w całej firmie?	Klient jest oznaczony jako aktywny w jednej bazie, a jako nieaktywny w innej.
Aktualność	Kiedy dane o zamówieniach klienta są dostępne?	Zamówienia są synchronizowane na koniec dnia i niedostępne w czasie rzeczywistym.

Niska jakość danych nie oznacza końca projektu!

Pozyskiwanie danych

Czas na ćwiczenia!

Koncepcje MLOps