Che cos'è l'analisi esplorativa dei dati?

Analisi Esplorativa dei Dati in Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Che cos'è l'analisi esplorativa dei dati?

«Un approccio per analizzare insiemi di dati e riassumerne le caratteristiche principali, spesso con grafici statistici e altre tecniche di visualizzazione.»

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Sei passi per l'EDA

Capire la struttura dei dati
Identificare i dati mancanti
Descrivere i dati con statistiche descrittive e distribuzioni
Individuare gli outlier
Esaminare e quantificare le relazioni tra variabili
Formulare ipotesi

Sei passi per l'EDA

Capire la struttura dei dati
Identificare i dati mancanti
Descrivere i dati con statistiche descrittive e distribuzioni
Individuare gli outlier
Esaminare e quantificare le relazioni tra variabili
Formulare ipotesi

1. Capire la struttura dei dati

Continue

Variabili numeriche che possono assumere un insieme infinito di valori

Numero di stelle nello spazio
Click-through rate
Distanza tra due città

Categoriali

Variabili non numeriche, di solito testo, con due o più gruppi

Tipi di abitazioni
Paese
Azienda

2. Identificare i dati mancanti

Missing at random

Una matrice 9x4 con insiemi di tre righe per tre città: Seattle, New York City e Parigi. I valori rappresentano pollici di pioggia in 30 celle e 6 sono vuote a caso nei tre gruppi di città.

Missing not at random

Una matrice 9x4 con insiemi di tre righe per tre città: Seattle, New York City e Parigi. I valori rappresentano pollici di pioggia in 30 celle e 4 sono vuote a caso ma solo in Seattle.

2. Gestire i dati mancanti

Una matrice 9x4 con insiemi di tre righe per tre città: Seattle, New York City e Parigi. I valori rappresentano pollici di pioggia in 30 celle e 4 sono vuote a caso ma solo in Seattle.

La stessa matrice 9x4 ma con la prima riga rimossa, per rappresentare la rimozione delle celle vuote dalla matrice.

La stessa matrice 9x4 ma con la prima riga ora valorizzata, per rappresentare l'imputazione delle celle vuote con il valore mediano.

3. Descrivere i dati

Minimo
Massimo
Media: somma dei valori divisa per il numero di osservazioni
Mediana: il valore al centro dell'intervallo
Deviazione standard: scostamento medio dalla media di una variabile su tutti i dati

3. Descrivere i dati con le distribuzioni

Un istogramma delle altezze delle persone con i valori di altezza sull'asse x e il numero di osservazioni con quelle altezze sull'asse y.

Mediana e media coincidono
Curva simmetrica

3. Descrivere i dati con le distribuzioni

Un istogramma dei redditi familiari con i valori di reddito sull'asse x e il numero di osservazioni con quei redditi sull'asse y. L'istogramma è ampio a sinistra e si restringe verso destra.

Mediana < Media
«Asimmetrica a destra»: la coda è a destra

Un istogramma del tempo trascorso online con i valori di tempo sull'asse x e il numero di osservazioni con quei valori sull'asse y. L'istogramma è stretto a sinistra e si allarga verso destra.

Mediana > Media
«Asimmetrica a sinistra»: la coda è a sinistra

Il dataset: annunci AirBnB

Un'immagine del dataset airbnb con cinque colonne: listing_id, host_id, host_since (colonna data), city e price.

Esercitiamoci!

Analisi Esplorativa dei Dati in Power BI