Qu'est-ce que l'analyse exploratoire des données ?

Analyse exploratoire des données dans Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Qu'est-ce que l'analyse exploratoire des données ?

« Une démarche d'analyse d'ensembles de données visant à en résumer les principales caractéristiques, souvent à l'aide de graphiques statistiques et d'autres méthodes de visualisation des données. »

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Six étapes pour l'AED

Comprendre la structure des données
Repérer les données manquantes
Décrire les données avec des statistiques descriptives et des distributions
Détecter les valeurs aberrantes
Examiner et quantifier les relations entre variables
Formuler des hypothèses

Six étapes pour l'AED

Comprendre la structure des données
Repérer les données manquantes
Décrire les données avec des statistiques descriptives et des distributions
Détecter les valeurs aberrantes
Examiner et quantifier les relations entre variables
Formuler des hypothèses

1. Comprendre la structure des données

Continues

Variables numériques pouvant souvent prendre un nombre infini de valeurs

Nombre d'étoiles dans l'espace
Taux de clics
Distance entre deux villes

Catégorielles

Variables non numériques, souvent du texte, avec deux groupes ou plus

Types de maisons
Pays
Entreprise

2. Repérer les données manquantes

Données manquantes aléatoires

Une matrice de neuf par quatre avec des ensembles de trois rangées groupées pour trois villes : Seattle, New York et Paris. Les valeurs représentent des pouces de pluie dans 30 cellules et 6 sont vides au hasard dans les trois groupes de villes.

Données manquantes non aléatoires

Une matrice de neuf par quatre avec des ensembles de trois rangées groupées pour trois villes : Seattle, New York et Paris. Les valeurs représentent des pouces de pluie dans 30 cellules et 4 sont vides, mais seulement dans le groupe de Seattle.

2. Traiter les données manquantes

Une matrice de neuf par quatre avec des ensembles de trois rangées groupées pour trois villes : Seattle, New York et Paris. Les valeurs représentent des pouces de pluie dans 30 cellules et 4 sont vides, mais seulement dans le groupe de Seattle.

La même matrice de neuf par quatre, sauf que la rangée du haut est retirée, pour représenter la suppression des cellules vides.

La même matrice de neuf par quatre, sauf que la rangée du haut contient maintenant des valeurs, pour représenter l'imputation des cellules vides par la médiane.

3. Décrire les données

Minimum
Maximum
Moyenne : somme des valeurs divisée par le nombre d'observations
Médiane : valeur au centre d'un ensemble de valeurs
Écart-type : écart moyen à la moyenne d'une variable sur l'ensemble des points de données

3. Décrire les données avec des distributions

Un histogramme des tailles de personnes avec les tailles sur l'axe des x et le nombre d'observations sur l'axe des y.

Médiane et moyenne identiques
Courbe symétrique

3. Décrire les données avec des distributions

Un histogramme du revenu des ménages avec les valeurs de revenu sur l'axe des x et le nombre d'observations sur l'axe des y. L'histogramme est large à gauche et se rétrécit vers la droite.

Médiane < Moyenne
« Asymétrie à droite » : la queue est à droite

Un histogramme du temps passé en ligne avec les valeurs de temps sur l'axe des x et le nombre d'observations sur l'axe des y. L'histogramme est étroit à gauche et s'élargit vers la droite.

Médiane > Moyenne
« Asymétrie à gauche » : la queue est à gauche

Ensemble de données : annonces AirBnB

Image de l'ensemble de données airbnb avec cinq colonnes : listing_id, host_id, host_since (colonne de date), city et price.

Passons à la pratique !

Analyse exploratoire des données dans Power BI