Analysiere das Ausmaß fehlender Werte

Umgang mit fehlenden Daten in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Air-Quality-Datensatz laden

Datensatz „Air Quality"

enthält Sensordaten zu Ozone, Solar, Temperature und Wind

df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56

Nullitäts-DataFrame

Nutze die Methoden .isnull() oder .isna() auf dem DataFrame

airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False

Summe fehlender Werte

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64

Prozentsatz der Fehlwerte

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64

Nullitäts-Balken

Paket missingno

Paket zur grafischen Analyse fehlender Werte

import missingno as msno

msno.bar(airquality)

Balkendiagramm der Fehlwerte für den Air-Quality-Datensatz

Nullitätsmatrix

msno.matrix(airquality)

Nullitätsmatrix für den Air-Quality-Datensatz

Nullitätsmatrix

msno.matrix(airquality)

Nullitätsmatrix für den Air-Quality-Datensatz

Nullitätsmatrix

msno.matrix(airquality)

Nullitätsmatrix für den Air-Quality-Datensatz

Nullitätsmatrix

msno.matrix(airquality)

Nullitätsmatrix für den Air-Quality-Datensatz

Nullitätsmatrix für Zeitreihen

msno.matrix(airquality, freq='M')

Nullitätsmatrix mit monatlicher Frequenz für den Air-Quality-Datensatz

Nullitätsmatrix für Zeitreihen

msno.matrix(airquality, freq='M')

Nullitätsmatrix mit monatlicher Frequenz für den Air-Quality-Datensatz

Matrix feinjustieren

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

Nullitätsmatrix mit monatlicher Frequenz für den Air-Quality-Datensatz

Zusammenfassung

In dieser Lektion hast du gelernt, zu analysieren

die Anzahl fehlender Werte numerisch
die Anzahl fehlender Werte grafisch
den Prozentsatz fehlender Werte
die Nullitätsmatrix für reguläre Datensätze
die Nullitätsmatrix für Zeitreihen-Datensätze

Lass uns üben!

Umgang mit fehlenden Daten in Python