Proč řešit chybějící data?
Dealing with Missing Data in Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Proč vznikají chybějící data?
- Reálná data jsou nepořádná
Víš, že 72 % organizací věří, že problémy s kvalitou dat narušují důvěru a vnímání zákazníků?
1 [9 hlavních výhod čištění dat pro firmy](https://bit.ly/2QwMrab)
Proč vznikají chybějící data?
- Hodnoty chybí už při sběru dat
- Vadné meteorologické senzory při analýze počasí
- Neúplné údaje o pacientovi při lékařské diagnóze atd.
- Hodnoty se nechtěně smažou
- Ztráta dat
- Omylem smazané kvůli lidské chybě
V tomto kurzu se naučíš
- proč je důležité řešit chybějící hodnoty
- jak odhalit chybějící hodnoty v nepořádných datech
- analyzovat typy chybějících hodnot
- správně zpracovat chybějící hodnoty u
- číselných
- časových řad
- kategoriálních hodnot
V tomto kurzu se naučíš
- doplňovat (nahrazovat) chybějící hodnoty pomocí jednoduchých technik
- doplňovat je pomocí pokročilých technik
- nakonec vyhodnotit nejlepší metodu zpracování chybějících hodnot
Postup zpracování chybějících hodnot
- Převeď všechny chybějící hodnoty na null.
- Analyzuj míru a typ chybění dat.
- Chybějící hodnoty vhodně odstraň nebo doplň.
- Vyhodnoť a porovnej výkon zpracovaného/doplněného datasetu.
Operace s hodnotami NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Operace s hodnotami NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Pojďme cvičit!
Dealing with Missing Data in Python
