Dlaczego warto radzić sobie z brakującymi danymi?
Braki danych w Pythonie
Suraj Donthi
Deep Learning & Computer Vision Consultant
Dlaczego brakujące dane istnieją?
- Dane z rzeczywistego świata są niechlujne
Czy wiesz, że 72% organizacji uważa, że problemy z jakością danych podważają zaufanie klientów?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Dlaczego brakujące dane istnieją?
- Wartości pominięte podczas gromadzenia danych
- Wadliwe czujniki pogody podczas analizy pogody
- Niekompletne dane pacjenta przy diagnozie medycznej itp.
- Wartości usunięte przypadkowo
- Utrata danych
- Omyłkowe usunięcie przez błąd ludzki
Czego nauczysz się w tym kursie
- znaczenie obsługi brakujących wartości
- wykrywanie brakujących wartości w danych
- analiza typów brakujących danych
- odpowiednia obsługa brakujących wartości dla
- danych numerycznych
- szeregów czasowych
- wartości kategorycznych
Czego nauczysz się w tym kursie
- imputacji brakujących wartości prostymi metodami
- imputacji zaawansowanymi technikami
- oceny najlepszej metody obsługi brakujących wartości
Proces obsługi brakujących wartości
- Konwersja wszystkich brakujących wartości na wartości null.
- Analiza ilości i rodzaju brakujących danych.
- Odpowiednie usunięcie lub imputacja brakujących wartości.
- Ocena i porównanie wyników dla przetworzonego zbioru danych.
Operacje na wartościach NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Operacje na wartościach NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Czas na ćwiczenia!
Braki danych w Pythonie
