Warum mit fehlenden Daten umgehen?
Umgang mit fehlenden Daten in Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Warum gibt es fehlende Daten?
- Reale Daten sind unordentlich
Wusstest du, dass 72 % der Unternehmen glauben, dass Datenqualitätsprobleme das Vertrauen und die Wahrnehmung von Kund:innen beeinträchtigen?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Warum gibt es fehlende Daten?
- Werte gehen bei der Datenerfassung verloren
- Defekte Wettersensoren bei Wetteranalysen
- Unvollständige Patientendaten für medizinische Diagnosen usw.
- Werte versehentlich gelöscht
- Datenverlust
- Durch menschlichen Fehler gelöscht
In diesem Kurs lernst du
- die Bedeutung des Umgangs mit fehlenden Werten
- fehlende Werte in deinen unordentlichen Daten erkennen
- Arten von Missingness analysieren
- fehlende Werte angemessen behandeln für
- numerische Daten
- Zeitreihen
- kategoriale Werte
In diesem Kurs lernst du
- fehlende Werte mit einfachen Techniken zu imputieren (ersetzen)
- mit fortgeschrittenen Techniken zu imputieren
- am Ende die beste Methode zur Behandlung fehlender Werte zu bewerten
Workflow zum Umgang mit fehlenden Werten
- Alle fehlenden Werte in Null-Werte umwandeln.
- Umfang und Art der Missingness im Datensatz analysieren.
- Fehlende Werte passend löschen oder imputieren.
- Leistung des bereinigten/imputierten Datensatzes bewerten und vergleichen.
Operationen mit NULL-Werten
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Operationen mit NULL-Werten
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Lass uns üben!
Umgang mit fehlenden Daten in Python
