Analyzuj míru chybějících hodnot

Dealing with Missing Data in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Načtení datasetu Air Quality

Air Quality dataset

  • obsahuje senzorové záznamy Ozone, Solar, Temperature a Wind
df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56
Dealing with Missing Data in Python

DataFrame chybějících hodnot

  • Použij metodu .isnull() nebo .isna() na DataFrame
airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False
Dealing with Missing Data in Python

Celkový počet chybějících hodnot

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64
Dealing with Missing Data in Python

Procento chybějících hodnot

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64
Dealing with Missing Data in Python

Graf chybějících hodnot

Balíček Missingno

  • Balíček pro grafickou analýzu chybějících hodnot
import missingno as msno

msno.bar(airquality)

Sloupcový graf chybějících hodnot pro dataset Air Quality

Dealing with Missing Data in Python

Matice chybějících hodnot

msno.matrix(airquality)

Matice chybějících hodnot pro dataset Air Quality

Dealing with Missing Data in Python

Matice chybějících hodnot

msno.matrix(airquality)

Matice chybějících hodnot pro dataset Air Quality

Dealing with Missing Data in Python

Matice chybějících hodnot

msno.matrix(airquality)

Matice chybějících hodnot pro dataset Air Quality

Dealing with Missing Data in Python

Matice chybějících hodnot

msno.matrix(airquality)

Matice chybějících hodnot pro dataset Air Quality

Dealing with Missing Data in Python

Matice chybějících hodnot pro časové řady

msno.matrix(airquality, freq='M')

Matice chybějících hodnot s měsíční frekvencí pro dataset Air Quality

Dealing with Missing Data in Python

Matice chybějících hodnot pro časové řady

msno.matrix(airquality, freq='M')

Matice chybějících hodnot s měsíční frekvencí pro dataset Air Quality

Dealing with Missing Data in Python

Doladění matice

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

Matice chybějících hodnot s měsíční frekvencí pro dataset Air Quality

Dealing with Missing Data in Python

Shrnutí

Tato lekce tě naučila analyzovat

  • míru chybějících hodnot číselně
  • míru chybějících hodnot graficky
  • procento chybějících hodnot
  • matici chybějících hodnot pro běžné datasety
  • matici chybějících hodnot pro datasety typu časových řad
Dealing with Missing Data in Python

Pojďme cvičit!

Dealing with Missing Data in Python

Preparing Video For Download...