Points à surveiller pour les données catégorielles

Analyse exploratoire de données en Python

George Boorman

Curriculum Manager, DataCamp

Pourquoi faire une EDA ?

  • Détecter des tendances et des relations

 

 

  • Formuler des questions ou des hypothèses

 

 

  • Préparer les données pour le Machine Learning

Point d'interrogation en néon rouge

1 Crédit image : https://unsplash.com/@simonesecci
Analyse exploratoire de données en Python

Données représentatives

  • L'échantillon représente la population

Par exemple :

  • Scolarité et revenu aux États‑Unis
    • On ne peut pas utiliser des données de France

Drapeau des États‑Unis

Drapeau de la France

1 Crédits image : https://unsplash.com/@cristina_glebova; https://unsplash.com/@nimbus_vulpis
Analyse exploratoire de données en Python

Classes catégorielles

  • Classes = étiquettes

 

  • Sonder les attitudes face au mariage
    • État matrimonial
      • Célibataire
      • Marié
      • Divorcé
Analyse exploratoire de données en Python

Déséquilibre de classes

diagramme à barres des états matrimoniaux dans un échantillon : 700 divorcés, 250 célibataires et 50 mariés

Analyse exploratoire de données en Python

Fréquence des classes

print(planes["Destination"].value_counts())

Cochin       4391
Banglore     2773
Delhi        1219
New Delhi     888
Hyderabad     673
Kolkata       369
Name: Destination, dtype: int64
Analyse exploratoire de données en Python

Fréquence relative des classes

  • 40 % des vols intérieurs en Inde ont pour destination Delhi
planes["Destination"].value_counts(normalize=True)

Cochin       0.425773
Banglore     0.268884
Delhi        0.118200
New Delhi    0.086105
Hyderabad    0.065257
Kolkata      0.035780
Name: Destination, dtype: float64
  • Notre échantillon est‑il représentatif de la population (vols intérieurs indiens) ?
Analyse exploratoire de données en Python

Tableau croisé

Appeler pd-point-crosstab

pd.crosstab(
Analyse exploratoire de données en Python

Choisir l'index

Sélectionner la colonne à utiliser comme index

pd.crosstab(planes["Source"],
Analyse exploratoire de données en Python

Choisir les colonnes

Sélectionner la colonne

pd.crosstab(planes["Source"], planes["Destination"])
Analyse exploratoire de données en Python

Tableau croisé

Destination  Banglore  Cochin  Delhi  Hyderabad  Kolkata  New Delhi
Source                                                             
Banglore            0       0   1199          0        0        868
Chennai             0       0      0          0      364          0
Delhi               0    4318      0          0        0          0
Kolkata          2720       0      0          0        0          0
Mumbai              0       0      0        662        0          0
Analyse exploratoire de données en Python

Étendre le tableau croisé

Source Destination Prix médian (IDR)
Banglore Delhi 4232,21
Banglore New Delhi 12114,56
Chennai Kolkata 3859,76
Delhi Cochin 9987,63
Kolkata Banglore 9654,21
Mumbai Hyderabad 3431,97
Analyse exploratoire de données en Python

Valeurs agrégées avec pd.crosstab()

pd.crosstab(planes["Source"], planes["Destination"],

            values=planes["Price"], aggfunc="median")

Destination  Banglore   Cochin   Delhi  Hyderabad  Kolkata  New Delhi
Source                                                               
Banglore          NaN      NaN  4823.0        NaN      NaN    10976.5
Chennai           NaN      NaN     NaN        NaN   3850.0        NaN
Delhi             NaN  10262.0     NaN        NaN      NaN        NaN
Kolkata        9345.0      NaN     NaN        NaN      NaN        NaN
Mumbai            NaN      NaN     NaN     3342.0      NaN        NaN
Analyse exploratoire de données en Python

Comparer l'échantillon à la population

Source Destination Prix médian (IDR) Prix médian (ensemble de données)
Banglore Delhi 4232,21 4823,0
Banglore New Delhi 12114,56 10976,50
Chennai Kolkata 3859,76 3850,0
Delhi Cochin 9987,63 10260,0
Kolkata Banglore 9654,21 9345,0
Mumbai Hyderabad 3431,97 3342,0
Analyse exploratoire de données en Python

Passons à la pratique !

Analyse exploratoire de données en Python

Preparing Video For Download...