Distribuții și valori aberante

Analiza exploratorie a datelor în Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Ce sunt distribuțiile?

Definiție: mulțimea tuturor valorilor posibile ale variabilei și frecvențele asociate.

Ce sunt distribuțiile?

Continuă

Vârstă	Frecvență
18	7
19	11
20	13
21	19
22	12

Ce sunt distribuțiile?

Continuă

Vârstă	Frecvență
18	7
19	11
20	13
21	19
22	12

Categorială

Culoarea părului	Frecvență
Blond	30
Brunet	50
Negru	40
Roșu	20
Gri	20

Ce sunt histogramele?

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Histograma are o coadă îngustă pe fiecare parte a unei mase mari în centru.

Ce sunt histogramele? - clasele

Histogramă cu 100 de clase

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Histograma este mai netedă și mai detaliată cu 100 de clase.

Histogramă cu 20 de clase

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Histograma este mai rigidă și blocată cu mai puține clase.

Interpretarea histogramelor - centralitate și asimetrie

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Există o masă mare de observații în centru și mai puține spre capete.

Distribuție normală

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Există o masă mare de observații în stânga și devine mai îngustă spre dreapta graficului.

Distribuție asimetrică la dreapta

Interpretarea histogramelor - dispersie

Deviație standard mai mare

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Există o masă mare de observații în centru și mai puține spre capete.

Deviație standard mai mică

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Este mai îngustă, aproape ca un vârf, deoarece deviația standard este mică.

Interpretarea histogramelor - percentile

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Există o zonă colorată în verde de la centru spre stânga, reprezentând percentila 50.

Interpretarea histogramelor - percentilele 25 și 75

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Există două zone colorate în verde de la percentila 25 spre stânga și de la percentila 75 spre dreapta.

Interpretarea histogramelor - intervalul intercuartilic

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Există o zonă colorată în verde de la percentila 25 la percentila 75, reprezentând intervalul intercuartilic.

Ce este o valoare aberantă?

O histogramă a înălțimilor persoanelor cu valorile înălțimilor pe axa x și numărul de observații pe axa y. Există zone colorate în verde la capetele ambelor laturi, evidențiind posibile valori aberante.

Identificarea valorilor aberante

Folosind deviația standard

$lower = -3 * SD$

$upper = 3 * SD$

Valoare aberantă când

$value < lower$ OR $value > upper$

Intervalul intercuartilic (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

Valoare aberantă când

$value < lower$ OR $value > upper$

Tratarea valorilor aberante

Eliminarea observațiilor
Imputare

Winsorizing

DACĂ value < percentila 5 ATUNCI value = percentila 5

DACĂ value > percentila 95 ATUNCI value = percentila 95

Să exersăm!

Analiza exploratorie a datelor în Power BI