Félicitations

Analyse exploratoire de données en Python

George Boorman

Curriculum Manager, DataCamp

Inspection et validation

un histogramme des cotes de livres

books["year"] = books["year"].astype(int)
books.dtypes

name       object
author     object
rating    float64
year        int64
genre      object
dtype: object

Agrégation

books.groupby("genre").agg(
    mean_rating=("rating", "mean"),
    std_rating=("rating", "std"),
    median_year=("year", "median")
)

|  genre      | mean_rating | std_rating | median_year |
|-------------|-------------|------------|-------------|
|   Childrens |    4.780000 |   0.122370 |      2015.0 |
|     Fiction |    4.570229 |   0.281123 |      2013.0 |
| Non Fiction |    4.598324 |   0.179411 |      2013.0 |

Traiter les valeurs manquantes

print(salaries.isna().sum())

Working_Year            12
Designation             27
Experience              33
Employment_Status       31
Employee_Location       28
Company_Size            40
Remote_Working_Ratio    24
Salary_USD              60
dtype: int64

Traiter les valeurs manquantes

Supprimer les valeurs manquantes

Imputer par la moyenne, la médiane, le mode

Imputer par sous-groupe

salaries_dict = salaries.groupby("Experience")["Salary_USD"].median().to_dict()
salaries["Salary_USD"] = salaries["Salary_USD"].fillna(salaries["Experience"].map(salaries_dict))

Analyser des données catégorielles

salaries["Job_Category"] = np.select(conditions, 
                                     job_categories, 
                                     default="Other")

Diagramme à barres montrant le nombre d'emplois par catégorie

Appliquer des fonctions lambda

Appliquer une fonction lambda

salaries["std_dev"] = salaries.groupby("Experience")["Salary_USD"].transform(lambda x: x.std())

Gérer les valeurs aberrantes

sns.boxplot(data=salaries,
            y="Salary_USD")
plt.show()

Boîte à moustaches des salaires des professionnel(le)s des données, avec le 25e centile au bas de la boîte, le 50e au centre et le 75e en haut

Tendances dans le temps

sns.lineplot(data=divorce, x="marriage_month", y="marriage_duration")
plt.show()

Un tracé linéaire montrant le lien entre le mois du mariage et sa durée

Corrélation

sns.heatmap(divorce.corr(numeric_only=True), annot=True)
plt.show()

Carte thermique des corrélations liées au divorce

Distributions

sns.kdeplot(data=divorce, x="marriage_duration", hue="education_man", cut=0)
plt.show()

Densité de la durée du mariage avec la teinte réglée sur education_man et cut égal à zéro

Tableau croisé

pd.crosstab(planes["Source"], planes["Destination"],
            values=planes["Price"], aggfunc="median")

Destination  Banglore   Cochin   Delhi  Hyderabad  Kolkata  New Delhi
Source                                                               
Banglore          NaN      NaN  4823.0        NaN      NaN    10976.5
Chennai           NaN      NaN     NaN        NaN   3850.0        NaN
Delhi             NaN  10262.0     NaN        NaN      NaN        NaN
Kolkata        9345.0      NaN     NaN        NaN      NaN        NaN
Mumbai            NaN      NaN     NaN     3342.0      NaN        NaN

pd.cut()

Fournir les classes (bins)

planes["Price_Category"] = pd.cut(planes["Price"],
                                  labels=labels,
                                  bins=bins)

Espionnage des données

Carte thermique avec les coefficients de corrélation pour chaque nombre d'escales

Générer des hypothèses

sns.barplot(data=planes, x="Airline", y="Duration")
plt.show()

Diagramme à barres : durée selon la ligne aérienne

Prochaines étapes

Échantillonnage en Python

Vérification d'hypothèses en Python

Apprentissage supervisé avec scikit-learn

Félicitations !

Analyse exploratoire de données en Python