Analiza cantității de date lipsă

Gestionarea datelor lipsă în Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Încărcarea setului de date Air Quality

Setul de date Air Quality

  • conține înregistrările senzorilor pentru Ozon, Solar, Temperatură și Vânt
df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56
Gestionarea datelor lipsă în Python

DataFrame de nulitate

  • Utilizați metodele .isnull() sau .isna() pe DataFrame
airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False
Gestionarea datelor lipsă în Python

Total valori lipsă

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64
Gestionarea datelor lipsă în Python

Procentul datelor lipsă

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64
Gestionarea datelor lipsă în Python

Bara de nulitate

Pachetul Missingno

  • Pachet pentru analiza grafică a valorilor lipsă
import missingno as msno

msno.bar(airquality)

Bara datelor lipsă pentru setul de date privind calitatea aerului

Gestionarea datelor lipsă în Python

Matricea de nulitate

msno.matrix(airquality)

Matricea datelor lipsă pentru setul de date privind calitatea aerului

Gestionarea datelor lipsă în Python

Matricea de nulitate

msno.matrix(airquality)

Matricea datelor lipsă pentru setul de date privind calitatea aerului

Gestionarea datelor lipsă în Python

Matricea de nulitate

msno.matrix(airquality)

Matricea datelor lipsă pentru setul de date privind calitatea aerului

Gestionarea datelor lipsă în Python

Matricea de nulitate

msno.matrix(airquality)

Matricea datelor lipsă pentru setul de date privind calitatea aerului

Gestionarea datelor lipsă în Python

Matricea de nulitate pentru serii de timp

msno.matrix(airquality, freq='M')

Matricea datelor lipsă cu frecvență lunară pentru setul de date privind calitatea aerului

Gestionarea datelor lipsă în Python

Matricea de nulitate pentru serii de timp

msno.matrix(airquality, freq='M')

Matricea datelor lipsă cu frecvență lunară pentru setul de date privind calitatea aerului

Gestionarea datelor lipsă în Python

Ajustarea matricei

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

Matricea datelor lipsă cu frecvență lunară pentru setul de date privind calitatea aerului

Gestionarea datelor lipsă în Python

Rezumat

În această lecție am învățat să analizăm

  • cantitatea de date lipsă numeric
  • cantitatea de date lipsă grafic
  • procentul datelor lipsă
  • matricea de nulitate pentru seturi de date obișnuite
  • matricea de nulitate pentru serii de timp
Gestionarea datelor lipsă în Python

Să exersăm!

Gestionarea datelor lipsă în Python

Preparing Video For Download...