Felicitări

Analiza exploratorie a datelor în Python

George Boorman

Curriculum Manager, DataCamp

Inspecție și validare

histogramă a evaluărilor cărților

books["year"] = books["year"].astype(int)
books.dtypes

name       object
author     object
rating    float64
year        int64
genre      object
dtype: object

Agregare

books.groupby("genre").agg(
    mean_rating=("rating", "mean"),
    std_rating=("rating", "std"),
    median_year=("year", "median")
)

|  genre      | mean_rating | std_rating | median_year |
|-------------|-------------|------------|-------------|
|   Childrens |    4.780000 |   0.122370 |      2015.0 |
|     Fiction |    4.570229 |   0.281123 |      2013.0 |
| Non Fiction |    4.598324 |   0.179411 |      2013.0 |

Tratarea datelor lipsă

print(salaries.isna().sum())

Working_Year            12
Designation             27
Experience              33
Employment_Status       31
Employee_Location       28
Company_Size            40
Remote_Working_Ratio    24
Salary_USD              60
dtype: int64

Tratarea datelor lipsă

Eliminarea valorilor lipsă

Imputare cu medie, mediană, modă

Imputare pe subgrupuri

salaries_dict = salaries.groupby("Experience")["Salary_USD"].median().to_dict()
salaries["Salary_USD"] = salaries["Salary_USD"].fillna(salaries["Experience"].map(salaries_dict))

Analiza datelor categoriale

salaries["Job_Category"] = np.select(conditions, 
                                     job_categories, 
                                     default="Other")

Grafic de bare cu numărul de locuri de muncă pe categorie

Funcții lambda

Aplicarea unei funcții lambda

salaries["std_dev"] = salaries.groupby("Experience")["Salary_USD"].transform(lambda x: x.std())

Gestionarea valorilor extreme

sns.boxplot(data=salaries,
            y="Salary_USD")
plt.show()

Boxplot al salariilor pentru profesioniști în date, cu percentila 25 la baza cutiei, percentila 50 ca linie mediană și percentila 75 la partea superioară

Tipare în timp

sns.lineplot(data=divorce, x="marriage_month", y="marriage_duration")
plt.show()

Grafic liniar: relația dintre luna căsătoriei și durata acesteia

Corelație

sns.heatmap(divorce.corr(numeric_only=True), annot=True)
plt.show()

Hartă termică a corelațiilor din setul de date despre divorț

Distribuții

sns.kdeplot(data=divorce, x="marriage_duration", hue="education_man", cut=0)
plt.show()

KDE al duratei căsătoriei cu hue setat pe education_man și cut egal cu zero

Tabel de contingență

pd.crosstab(planes["Source"], planes["Destination"],
            values=planes["Price"], aggfunc="median")

Destination  Banglore   Cochin   Delhi  Hyderabad  Kolkata  New Delhi
Source                                                               
Banglore          NaN      NaN  4823.0        NaN      NaN    10976.5
Chennai           NaN      NaN     NaN        NaN   3850.0        NaN
Delhi             NaN  10262.0     NaN        NaN      NaN        NaN
Kolkata        9345.0      NaN     NaN        NaN      NaN        NaN
Mumbai            NaN      NaN     NaN     3342.0      NaN        NaN

pd.cut()

Definirea intervalelor

planes["Price_Category"] = pd.cut(planes["Price"],
                                  labels=labels,
                                  bins=bins)

Snooping de date

Hartă termică cu coeficienți de corelație pentru fiecare număr de escale

Generarea ipotezelor

sns.barplot(data=planes, x="Airline", y="Duration")
plt.show()

Grafic de bare: durată vs. companie aeriană

Pași următori

Sampling in Python

Hypothesis Testing in Python

Supervised Learning with scikit-learn

Felicitări!

Analiza exploratorie a datelor în Python