Gratulujeme

Exploratory Data Analysis in Python

George Boorman

Curriculum Manager, DataCamp

Inspekce a validace

histogram hodnocení knih

books["year"] = books["year"].astype(int)
books.dtypes

name       object
author     object
rating    float64
year        int64
genre      object
dtype: object

Agregace

books.groupby("genre").agg(
    mean_rating=("rating", "mean"),
    std_rating=("rating", "std"),
    median_year=("year", "median")
)

|  genre      | mean_rating | std_rating | median_year |
|-------------|-------------|------------|-------------|
|   Childrens |    4.780000 |   0.122370 |      2015.0 |
|     Fiction |    4.570229 |   0.281123 |      2013.0 |
| Non Fiction |    4.598324 |   0.179411 |      2013.0 |

Zpracování chybějících dat

print(salaries.isna().sum())

Working_Year            12
Designation             27
Experience              33
Employment_Status       31
Employee_Location       28
Company_Size            40
Remote_Working_Ratio    24
Salary_USD              60
dtype: int64

Zpracování chybějících dat

Odstranění chybějících hodnot

Imputace průměrem, mediánem, modem

Imputace podle podskupiny

salaries_dict = salaries.groupby("Experience")["Salary_USD"].median().to_dict()
salaries["Salary_USD"] = salaries["Salary_USD"].fillna(salaries["Experience"].map(salaries_dict))

Analýza kategorických dat

salaries["Job_Category"] = np.select(conditions, 
                                     job_categories, 
                                     default="Other")

Sloupcový graf zobrazující počet pracovních míst podle kategorie

Použití lambda funkcí

Použití lambda funkce

salaries["std_dev"] = salaries.groupby("Experience")["Salary_USD"].transform(lambda x: x.std())

Zpracování odlehlých hodnot

sns.boxplot(data=salaries,
            y="Salary_USD")
plt.show()

Krabicový graf platů datových profesionálů se 25. percentilem ve spodní části, 50. percentilem jako středová linie a 75. percentilem v horní části

Vzory v čase

sns.lineplot(data=divorce, x="marriage_month", y="marriage_duration")
plt.show()

Spojnicový graf zobrazující vztah mezi měsícem sňatku a délkou manželství

Korelace

sns.heatmap(divorce.corr(numeric_only=True), annot=True)
plt.show()

Teplotní mapa korelací rozvodů

Rozdělení

sns.kdeplot(data=divorce, x="marriage_duration", hue="education_man", cut=0)
plt.show()

KDE graf délky manželství s odstínem nastaveným na education_man a cut rovným nule

Křížová tabulace

pd.crosstab(planes["Source"], planes["Destination"],
            values=planes["Price"], aggfunc="median")

Destination  Banglore   Cochin   Delhi  Hyderabad  Kolkata  New Delhi
Source                                                               
Banglore          NaN      NaN  4823.0        NaN      NaN    10976.5
Chennai           NaN      NaN     NaN        NaN   3850.0        NaN
Delhi             NaN  10262.0     NaN        NaN      NaN        NaN
Kolkata        9345.0      NaN     NaN        NaN      NaN        NaN
Mumbai            NaN      NaN     NaN     3342.0      NaN        NaN

pd.cut()

Zadání intervalů

planes["Price_Category"] = pd.cut(planes["Price"],
                                  labels=labels,
                                  bins=bins)

Data snooping

Teplotní mapa s korelačními koeficienty pro každý počet zastávek

Formulování hypotéz

sns.barplot(data=planes, x="Airline", y="Duration")
plt.show()

Sloupcový graf délky letu versus letecká společnost

Další kroky

Sampling in Python

Hypothesis Testing in Python

Supervised Learning with scikit-learn

Gratulujeme!

Exploratory Data Analysis in Python