Tạo tập train, test và validation

Xác thực Mô hình trong Python

Kasey Jones

Data Scientist

Chia train/test truyền thống

  • Dữ liệu đã thấy (dùng để train)
  • Dữ liệu chưa thấy (không dùng để train)

Chia dữ liệu là dùng một phần dữ liệu để train và một phần nhỏ hơn để test.

Xác thực Mô hình trong Python

Định nghĩa dataset và tỷ lệ

Dataset Định nghĩa
Train Mẫu dữ liệu dùng để fit mô hình
Test (mẫu holdout) Mẫu dữ liệu để đánh giá hiệu năng mô hình

Ví dụ tỷ lệ

  • 80:20
  • 90:10 (khi dữ liệu ít)
  • 70:30 (khi mô hình tốn tài nguyên)
Xác thực Mô hình trong Python

Các tập X và y

import pandas as pd

tic_tac_toe = pd.read_csv("tic-tac-toe.csv")
X = pd.get_dummies(tic_tac_toe.iloc[:,0:9])
y = tic_tac_toe.iloc[:, 9]

Các khóa Python về biến giả (dummy):

Xác thực Mô hình trong Python

Tạo mẫu holdout

X_train, X_test, y_train, y_test  =\
    train_test_split(X, y, test_size=0.2, random_state=1111)

Tham số:

  • test_size
  • train_size
  • random_state
Xác thực Mô hình trong Python

Dataset cho kiểm thử sơ bộ?

Khi thử các tham số mô hình, ta làm gì?

  • 100 so với 1000 cây
Xác thực Mô hình trong Python

Để thử tham số mô hình, ta cần tách dữ liệu thành ba phần: một để train, một để validation và một để test.

Xác thực Mô hình trong Python

Tiếp tục: train, validation, test

X_temp, X_test, y_temp, y_test  =\
    train_test_split(X, y, test_size=0.2, random_state=1111)

X_train, X_val, y_train, y_val =\
    train_test_split(X_temp, y_temp, test_size=0.25, random_state=11111)
Xác thực Mô hình trong Python

Đến lúc holdout

Xác thực Mô hình trong Python

Preparing Video For Download...