Fördelningar och avvikare

Explorativ dataanalys i Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Vad är fördelningar?

Definition: mängden av alla möjliga värden för en variabel och deras frekvenser.

Vad är fördelningar?

Kontinuerlig

Ålder	Frekvens
18	7
19	11
20	13
21	19
22	12

Vad är fördelningar?

Kontinuerlig

Ålder	Frekvens
18	7
19	11
20	13
21	19
22	12

Kategorisk

Hårfärg	Frekvens
Blond	30
Brun	50
Svart	40
Röd	20
Grå	20

Vad är histogram?

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Histogrammet har en smal svans på vardera sida om en stor massa i mitten.

Vad är histogram? – staplar

Histogram med 100 staplar

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Histogrammet är jämnare och visar mer detaljer med 100 staplar.

Histogram med 20 staplar

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Histogrammet är mer kantigt och blocklikt med färre staplar.

Tolka histogram – centralitet och skevhet

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Det finns en stor massa observationer i mitten och färre mot kanterna.

Normalfördelning

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Det finns en stor massa observationer till vänster och fördelningen smalnar av mot höger.

Högerskev fördelning

Tolka histogram – spridning

Större standardavvikelse

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Det finns en stor massa observationer i mitten och färre mot kanterna.

Mindre standardavvikelse

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Det är smalare, nästan tornliknande, eftersom standardavvikelsen är liten.

Tolka histogram – percentiler

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Det finns ett grönmarkerat område från mitten till vänster som representerar den 50:e percentilen.

Tolka histogram – 25:e och 75:e percentilen

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Det finns två grönmarkerade områden – ett från den 25:e percentilen mot vänster och ett från den 75:e percentilen mot höger.

Tolka histogram – interkvartilt spann

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Det finns ett grönmarkerat område från den 25:e till den 75:e percentilen som representerar det interkvartila spannet.

Vad är en avvikare?

Ett histogram över personers längder med längdvärden på x-axeln och antal observationer på y-axeln. Det finns grönmarkerade områden i båda ändarna som markerar möjliga avvikare i diagrammet.

Hitta avvikare

Med standardavvikelse

$lower = -3 * SD$

$upper = 3 * SD$

Avvikare när

$value < lower$ OR $value > upper$

Interkvartilt spann (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

Avvikare när

$value < lower$ OR $value > upper$

Hantera avvikare

Ta bort observationer
Imputering

Winsorizing

OM värde < 5:e percentilen DÅ värde = 5:e percentilen

OM värde > 95:e percentilen DÅ värde = 95:e percentilen

Nu kör vi en övning!

Explorativ dataanalys i Power BI