De ce să tratăm datele lipsă?
Gestionarea datelor lipsă în Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
De ce există date lipsă?
- Datele din lumea reală sunt dezordonate
Știați că 72% dintre organizații consideră că problemele de calitate a datelor afectează încrederea și percepția clienților?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
De ce există date lipsă?
- Valori omise în procesul de achiziție a datelor
- Senzori meteo defecți în analiza vremii
- Informații incomplete despre pacienți pentru diagnostic medical etc.
- Valori șterse accidental
- Pierderea datelor
- Șterse din eroare umană
În acest curs, veți învăța
- importanța tratării valorilor lipsă
- detectarea valorilor lipsă în date dezordonate
- analiza tipurilor de date lipsă
- tratarea corespunzătoare a valorilor lipsă pentru
- valori numerice
- serii de timp
- valori categorice
În acest curs, veți învăța
- imputarea (înlocuirea) valorilor lipsă prin tehnici simple
- imputarea prin tehnici avansate
- evaluarea celei mai bune metode de tratare a valorilor lipsă
Flux de lucru pentru tratarea valorilor lipsă
- Convertiți toate valorile lipsă în valori null.
- Analizați cantitatea și tipul de date lipsă.
- Ștergeți sau imputați valorile lipsă corespunzător.
- Evaluați și comparați performanța setului de date tratat/imputat.
Operații cu valori NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Operații cu valori NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Să exersăm!
Gestionarea datelor lipsă în Python
