Gefeliciteerd

Verkennende data-analyse in Python

George Boorman

Curriculum Manager, DataCamp

Inspectie en validatie

een histogram van boekbeoordelingen

books["year"] = books["year"].astype(int)
books.dtypes

name       object
author     object
rating    float64
year        int64
genre      object
dtype: object

Aggregatie

books.groupby("genre").agg(
    mean_rating=("rating", "mean"),
    std_rating=("rating", "std"),
    median_year=("year", "median")
)

|  genre      | mean_rating | std_rating | median_year |
|-------------|-------------|------------|-------------|
|   Childrens |    4.780000 |   0.122370 |      2015.0 |
|     Fiction |    4.570229 |   0.281123 |      2013.0 |
| Non Fiction |    4.598324 |   0.179411 |      2013.0 |

Ontbrekende data aanpakken

print(salaries.isna().sum())

Working_Year            12
Designation             27
Experience              33
Employment_Status       31
Employee_Location       28
Company_Size            40
Remote_Working_Ratio    24
Salary_USD              60
dtype: int64

Ontbrekende data aanpakken

Verwijder ontbrekende waarden

Imputeer gemiddelde, mediaan, modus

Imputeer per subgroep

salaries_dict = salaries.groupby("Experience")["Salary_USD"].median().to_dict()
salaries["Salary_USD"] = salaries["Salary_USD"].fillna(salaries["Experience"].map(salaries_dict))

Categorische data analyseren

salaries["Job_Category"] = np.select(conditions, 
                                     job_categories, 
                                     default="Other")

Staafdiagram met het aantal banen per categorie

Lambda-functies toepassen

Pas een lambda-functie toe

salaries["std_dev"] = salaries.groupby("Experience")["Salary_USD"].transform(lambda x: x.std())

Uitschieters behandelen

sns.boxplot(data=salaries,
            y="Salary_USD")
plt.show()

Boxplot van salarissen van dataprofessionals, met het 25e percentiel onderaan de doos, het 50e percentiel als de middelste lijn en het 75e percentiel bovenaan de doos

Patronen in de tijd

sns.lineplot(data=divorce, x="marriage_month", y="marriage_duration")
plt.show()

Een lijndiagram met het verband tussen huwelijksmaand en huwelijksduur

Correlatie

sns.heatmap(divorce.corr(numeric_only=True), annot=True)
plt.show()

Een heatmap van correlaties bij echtscheidingen

Verdelingen

sns.kdeplot(data=divorce, x="marriage_duration", hue="education_man", cut=0)
plt.show()

kde van huwelijksduur met hue ingesteld op education_man en cut gelijk aan nul

Kruistabellen

pd.crosstab(planes["Source"], planes["Destination"],
            values=planes["Price"], aggfunc="median")

Destination  Banglore   Cochin   Delhi  Hyderabad  Kolkata  New Delhi
Source                                                               
Banglore          NaN      NaN  4823.0        NaN      NaN    10976.5
Chennai           NaN      NaN     NaN        NaN   3850.0        NaN
Delhi             NaN  10262.0     NaN        NaN      NaN        NaN
Kolkata        9345.0      NaN     NaN        NaN      NaN        NaN
Mumbai            NaN      NaN     NaN     3342.0      NaN        NaN

pd.cut()

Geef de bins op

planes["Price_Category"] = pd.cut(planes["Price"],
                                  labels=labels,
                                  bins=bins)

Data-snooping

Heatmap met correlatiecoëfficiënten per aantal stops

Hypothesen genereren

sns.barplot(data=planes, x="Airline", y="Duration")
plt.show()

Staafdiagram van duur versus luchtvaartmaatschappij

Volgende stappen

Sampling in Python

Hypothesis Testing in Python

Supervised Learning with scikit-learn

Gefeliciteerd!

Verkennende data-analyse in Python