Rozkłady i wartości odstające

Eksploracyjna analiza danych w Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Czym są rozkłady?

Definicja: zbiór wszystkich możliwych wartości zmiennej wraz z powiązanymi częstościami.

Czym są rozkłady?

Ciągłe

Wiek	Częstość
18	7
19	11
20	13
21	19
22	12

Czym są rozkłady?

Ciągłe

Wiek	Częstość
18	7
19	11
20	13
21	19
22	12

Kategorialne

Kolor włosów	Częstość
Blond	30
Brązowy	50
Czarny	40
Rudy	20
Siwy	20

Czym są histogramy?

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Histogram ma wąskie ogony po obu stronach dużego skupiska w środku.

Czym są histogramy? - przedziały

Histogram ze 100 przedziałami

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Histogram jest bardziej wygładzony i szczegółowy przy 100 przedziałach.

Histogram z 20 przedziałami

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Histogram jest bardziej szorstki i przypomina bloki przy mniejszej liczbie przedziałów.

Odczytywanie histogramów – centralność i skośność

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Duże skupisko obserwacji w centrum, mniej na krańcach.

Rozkład normalny

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Duże skupisko obserwacji po lewej stronie, zwężające się ku prawej.

Rozkład prawostronnie skośny

Odczytywanie histogramów – rozproszenie

Większe odchylenie standardowe

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Duże skupisko obserwacji w centrum, mniej na krańcach.

Mniejsze odchylenie standardowe

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Histogram jest wąski, niemal iglasty, przy małym odchyleniu standardowym.

Odczytywanie histogramów – percentyle

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Zielony obszar od środka do lewej strony reprezentuje 50. percentyl.

Odczytywanie histogramów – 25. i 75. percentyl

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Dwa zielone obszary: od 25. percentyla do lewej i od 75. percentyla do prawej strony.

Odczytywanie histogramów – rozstęp ćwiartkowy

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Zielony obszar od 25. do 75. percentyla reprezentuje rozstęp ćwiartkowy.

Czym jest wartość odstająca?

Histogram wzrostu osób z wartościami na osi x i liczbą obserwacji na osi y. Zielone obszary na obu krańcach wskazują możliwe wartości odstające.

Wykrywanie wartości odstających

Przy użyciu odchylenia standardowego

$lower = -3 * SD$

$upper = 3 * SD$

Wartość odstająca, gdy

$value < lower$ OR $value > upper$

Rozstęp ćwiartkowy (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

Wartość odstająca, gdy

$value < lower$ OR $value > upper$

Postępowanie z wartościami odstającymi

Usunięcie obserwacji
Imputacja

Winsoryzacja

JEŚLI wartość < 5. percentyl TO wartość = 5. percentyl

JEŚLI wartość > 95. percentyl TO wartość = 95. percentyl

Czas na ćwiczenia!

Eksploracyjna analiza danych w Power BI