使用 sklearn 的管道回顾

使用 XGBoost 的极端梯度提升

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Pipeline 回顾

  • 接收命名 2 元组（name, pipeline_step）的列表作为输入
  • 元组可包含任意兼容 scikit-learn 的估计器或变换器对象
  • Pipeline 实现了 fit/predict 方法
  • 可作为估计器用于网格/随机搜索和 cross_val_score 方法
使用 XGBoost 的极端梯度提升

Scikit-learn 管道示例

import pandas as pd
from sklearn.ensemble import RandomForestRegressor
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.model_selection import cross_val_score

names = ["crime","zone","industry","charles","no","rooms",
        "age", "distance","radial","tax","pupil","aam","lower","med_price"]

data = pd.read_csv("boston_housing.csv",names=names)

X, y = data.iloc[:,:-1], data.iloc[:,-1]

rf_pipeline = Pipeline[("st_scaler", 
                StandardScaler()),
                ("rf_model",RandomForestRegressor())]

scores = cross_val_score(rf_pipeline,X,y,    
scoring="neg_mean_squared_error",cv=10)
使用 XGBoost 的极端梯度提升

Scikit-learn 管道示例

final_avg_rmse = np.mean(np.sqrt(np.abs(scores)))

print("Final RMSE:", final_avg_rmse)

Final RMSE: 4.54530686529
使用 XGBoost 的极端梯度提升

预处理 I：LabelEncoder 与 OneHotEncoder

  • LabelEncoder：将字符串类别列转换为整数
  • OneHotEncoder：将整数列编码为哑变量
  • 不能在同一个 pipeline 中完成
使用 XGBoost 的极端梯度提升

预处理 II：DictVectorizer

  • 传统用于文本处理
  • 将特征映射列表转换为向量
  • 需将 DataFrame 转为字典条目列表
  • 查看 scikit-learn 文档
使用 XGBoost 的极端梯度提升

让我们构建管道！

使用 XGBoost 的极端梯度提升

Preparing Video For Download...