Datenqualität und Datenaufnahme

MLOps-Konzepte

Folkert Stijnman

ML Engineer

Datenqualität und Datenaufnahme

Was ist Datenqualität?

• Datenqualität zeigt, wie gut die Daten ihren Zweck erfüllen
• Anhand verschiedener Kriterien bewertet
• Qualität des ML-Modells hängt von Daten ab

Kriterien für Datenqualität

• Genauigkeit
• Vollständigkeit
• Einheitlichkeit
• Aktualität

Beispiel: Kriterien für Datenqualität

Kriterium	Beispielfrage	Beispiel für Qualität
Genauigkeit	Beschreiben unsere Daten die Kundin/den Kunden richtig?	Person ist laut den Daten 18 Jahre alt, tatsächlich aber 32
Vollständigkeit	Fehlen irgendwelche Kundendaten?	Für 80 % der Kundinnen und Kunden haben wir keinen Nachnamen
Einheitlichkeit	Ist die Definition von Kundinnen und Kunden im ganzen Unternehmen abgestimmt?	Kundin/Kunde wird in einer Datenbank als aktiv angezeigt, in einer anderen aber nicht
Aktualität	Wann sind die Bestelldaten von der Kundin/dem Kunden verfügbar?	Die Kundenbestellungen werden am Ende des Tages synchronisiert, sind aber nicht in Echtzeit verfügbar

Eine niedrige Datenqualität bedeutet nicht das Ende des Projekts!

Datenaufnahme

Lass uns üben!

MLOps-Konzepte