创建训练、测试与验证数据集

Python 中的模型验证

Kasey Jones

Data Scientist

传统训练/测试划分

  • 已见数据（用于训练）
  • 未见数据（不可用于训练）

划分数据：用一部分可用数据训练，较小一部分作为测试集。

Python 中的模型验证

数据集定义与比例

数据集 定义
训练集 拟合模型时使用的数据样本
测试集（留出样本） 评估模型性能的数据样本

比例示例

  • 80:20
  • 90:10（数据很少时）
  • 70:30（训练代价高时）
Python 中的模型验证

X 与 y 数据集

import pandas as pd

tic_tac_toe = pd.read_csv("tic-tac-toe.csv")
X = pd.get_dummies(tic_tac_toe.iloc[:,0:9])
y = tic_tac_toe.iloc[:, 9]

涵盖哑变量的 Python 课程：

Python 中的模型验证

创建留出样本

X_train, X_test, y_train, y_test  =\
    train_test_split(X, y, test_size=0.2, random_state=1111)

参数：

  • test_size
  • train_size
  • random_state
Python 中的模型验证

用于初步测试的数据集？

测试不同模型参数时怎么办？

  • 100 与 1000 棵树
Python 中的模型验证

为测试模型参数，我们需将可用数据分为三部分：训练、验证、测试。

Python 中的模型验证

训练/验证/测试（续）

X_temp, X_test, y_temp, y_test  =\
    train_test_split(X, y, test_size=0.2, random_state=1111)

X_train, X_val, y_train, y_val =\
    train_test_split(X_temp, y_temp, test_size=0.25, random_state=11111)
Python 中的模型验证

开始留出法

Python 中的模型验证

Preparing Video For Download...