Distribuzioni e valori anomali

Analisi Esplorativa dei Dati in Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Cosa sono le distribuzioni?

Definizione: insieme di tutti i possibili valori della variabile e delle relative frequenze.

Cosa sono le distribuzioni?

Continue

Età	Frequenza
18	7
19	11
20	13
21	19
22	12

Cosa sono le distribuzioni?

Continue

Età	Frequenza
18	7
19	11
20	13
21	19
22	12

Categoriche

Colore capelli	Frequenza
Biondi	30
Castani	50
Neri	40
Rossi	20
Grigi	20

Cosa sono gli istogrammi?

Cosa sono gli istogrammi? - bin

Istogramma con 100 bin

Istogramma con 20 bin

Leggere gli istogrammi - centralità e asimmetria

Distribuzione normale

Distribuzione asimmetrica a destra

Leggere gli istogrammi - dispersione

Deviazione standard maggiore

Deviazione standard minore

Leggere gli istogrammi - percentili

Leggere gli istogrammi - 25° e 75° percentile

Leggere gli istogrammi - intervallo interquartile

Cos'è un outlier?

Individuare outlier

Usando la deviazione standard

$lower = -3 * SD$

$upper = 3 * SD$

$$

Outlier se

$value < lower$ OR $value > upper$

Intervallo interquartile (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

$$

Outlier se

$value < lower$ OR $value > upper$

Gestire gli outlier

1. Rimuovere osservazioni
2. Imputazione

Winsorizzazione

SE value < 5th percentile ALLORA value = 5th percentile

$$

SE value > 95th percentile ALLORA value = 95th percentile

Esercitiamoci!

Analisi Esplorativa dei Dati in Power BI