使用 filter() 进行数据筛选

使用 pandas 编写高效代码

Leonidas Souliotis

PhD Candidate

filter() 的用途

基于聚合特征限制结果

缺失值数量
指定特征的均值
组内出现次数

使用 groupby().filter() 进行筛选

restaurant_grouped = restaurant.groupby('day')
filter_trans = lambda x : x['total_bill'].mean() > 20
restaurant_filtered = restaurant_grouped.filter(filter_trans)

使用 .filter() 的时间 0.00414085388184 秒

print(restaurant_filtered['tip'].mean())

3.11527607362

print(restaurant['tip'].mean())

2.9982786885245902

与原生方法对比

t=[restaurant.loc[df['day'] == i]['tip'] for i in restaurant['day'].unique() 
    if restaurant.loc[df['day'] == i]['total_bill'].mean()>20]
restaurant_filtered = t[0]
for j in t[1:]: 
    restaurant_filtered=restaurant_filtered.append(j,ignore_index=True)

原生 Python 用时：0.00663900375366 秒

print(restaurant_filtered.mean())

3.11527607362

耗时差异：60.329341317157024%

开始练习！

使用 pandas 编写高效代码