Rozdělení a odlehlé hodnoty

Exploratory Data Analysis in Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Co jsou rozdělení?

Definice: souhrn všech možných hodnot proměnné a jejich četností.

Co jsou rozdělení?

Spojitá

Věk	Četnost
18	7
19	11
20	13
21	19
22	12

Co jsou rozdělení?

Spojitá

Věk	Četnost
18	7
19	11
20	13
21	19
22	12

Kategorická

Barva vlasů	Četnost
Blond	30
Hnědá	50
Černá	40
Červená	20
Šedá	20

Co jsou histogramy?

Co jsou histogramy? – třídy

Histogram se 100 třídami

Histogram s 20 třídami

Čtení histogramů – střed a šikmost

Normální rozdělení

Rozdělení se šikmostí doprava

Čtení histogramů – rozptyl

Větší směrodatná odchylka

Menší směrodatná odchylka

Čtení histogramů – percentily

Čtení histogramů – 25. a 75. percentil

Čtení histogramů – mezikvartilové rozpětí

Co je odlehlá hodnota?

Hledání odlehlých hodnot

Pomocí směrodatné odchylky

$lower = -3 * SD$

$upper = 3 * SD$

$$

Odlehlá hodnota, pokud

$value < lower$ OR $value > upper$

Mezikvartilové rozpětí (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

$$

Odlehlá hodnota, pokud

$value < lower$ OR $value > upper$

Řešení odlehlých hodnot

1. Odstranění pozorování
2. Imputace

Winsorizing

POKUD hodnota < 5. percentil PAK hodnota = 5. percentil

$$

POKUD hodnota > 95. percentil PAK hodnota = 95. percentil

Pojďme si procvičit!

Exploratory Data Analysis in Power BI