探索性数据分析

端到端机器学习

Joshua Stapleton

Machine Learning Engineer

EDA 流程

一个图示，展示 EDA 在心脏病患者数据集上的各组成部分

df.head()

# 打印前 5 行
print(heart_disease_df.head())

心脏病数据框的前 5 行。调用 df.head() 的结果。

df.info()

# 打印详情
print(heart_disease_df.info())

心脏病数据框的汇总信息。调用 df.info() 的结果。

df.value_counts()

# 打印类别分布
print(heart_disease_df['target'].value_counts(normalize=True))

心脏病数据框 target 列的类别分布。对该列调用 .value_counts() 的结果。

使用 df.isnull()

用法

# 检查一列是否全为缺失
print(heart_disease_df['oldpeak'].isnull().all())

True

展示离群点的可视化。

可视化可揭示：

其他可视化类型：

df['age'].plot(kind='hist')
plt.xlabel('Age')
plt.ylabel('Frequency')
plt.show()

展示数据集中年龄分布的可视化。

¹ https://seaborn.pydata.org/tutorial/distributions.html, https://app.datacamp.com/learn/courses/intermediate-data-visualization-with-seaborn

理解数据

检测离群点

提出假设

检验假设

端到端机器学习