Varför hantera saknade data?
Hantera saknade värden i Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Varför finns det saknade data?
- Verkliga data är ofta röriga
Visste du att 72 % av organisationer anser att datakvalitetsproblem skadar kundernas förtroende?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Varför finns det saknade data?
- Värden missas under datainsamlingen
- Felaktiga vädersensorer vid väderanalys
- Ofullständig patientinformation vid medicinsk diagnos m.m.
- Värden raderas av misstag
- Dataförlust
- Oavsiktlig borttagning på grund av mänskligt fel
Det här lär du dig i kursen
- vikten av att hantera saknade värden
- hur du identifierar saknade värden i röriga data
- hur du analyserar typen av saknad data
- hur du hanterar saknade värden på rätt sätt för
- numeriska
- tidsseriedata
- kategoriska värden
Det här lär du dig i kursen
- hur du imputerar (ersätter) saknade värden med enkla metoder
- hur du imputerar med avancerade metoder
- hur du slutligen utvärderar den bästa metoden för att hantera saknade värden
Arbetsflöde för att hantera saknade värden
- Konvertera alla saknade värden till null-värden.
- Analysera mängden och typen av saknad data.
- Ta bort eller imputera saknade värden på lämpligt sätt.
- Utvärdera och jämför prestandan hos det behandlade/imputerade datasetet.
NULL-värdesoperationer
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
NULL-värdesoperationer
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Nu kör vi en övning!
Hantera saknade värden i Python
