ローカル検証

Pythonで挑むKaggleコンペティション

Yauhen Babakhin

Kaggle Grandmaster

モチベーション

過学習の例(Public と Private のリーダーボード)

Pythonで挑むKaggleコンペティション

ホールドアウト法

ホールドアウト法の模式図

Pythonで挑むKaggleコンペティション

ホールドアウト法

ホールドアウト法の模式図

Pythonで挑むKaggleコンペティション

ホールドアウト法

ホールドアウト法の模式図

Pythonで挑むKaggleコンペティション

K 分割交差検証

 

訓練データを 4 分割

Pythonで挑むKaggleコンペティション

K 分割交差検証

 

k 分割交差検証の模式図

Pythonで挑むKaggleコンペティション

K 分割交差検証

# Import KFold
from sklearn.model_selection import KFold
# Create a KFold object
kf = KFold(n_splits=5, shuffle=True, random_state=123)
# Loop through each cross-validation split
for train_index, test_index in kf.split(train):

# Get training and testing data for the corresponding split cv_train, cv_test = train.iloc[train_index], train.iloc[test_index]
Pythonで挑むKaggleコンペティション

層化 K 分割

  層化 k 分割交差検証の模式図

Pythonで挑むKaggleコンペティション

層化 K 分割

# Import StratifiedKFold
from sklearn.model_selection import StratifiedKFold

# Create a StratifiedKFold object str_kf = StratifiedKFold(n_splits=5, shuffle=True, random_state=123)
# Loop through each cross-validation split for train_index, test_index in str_kf.split(train, train['target']): cv_train, cv_test = train.iloc[train_index], train.iloc[test_index]
Pythonで挑むKaggleコンペティション

練習しましょう!

Pythonで挑むKaggleコンペティション

Preparing Video For Download...