Lokale validatie

Een Kaggle-competitie winnen met Python

Yauhen Babakhin

Kaggle Grandmaster

Motivatie

overfitting-voorbeeld met Public en Private leaderboards

Holdout-set

schema holdout-set

Holdout-set

schema holdout-set

Holdout-set

schema holdout-set

K-fold cross-validatie

split train data into four folds

K-fold cross-validatie

schema k-fold cross-validatie

K-fold cross-validatie

# Import KFold
from sklearn.model_selection import KFold

# Maak een KFold-object
kf = KFold(n_splits=5, shuffle=True, random_state=123)

# Loop door elke cross-validatiesplit
for train_index, test_index in kf.split(train):

    # Pak train- en testdata voor deze split
    cv_train, cv_test = train.iloc[train_index], train.iloc[test_index]

Gestratificeerde k-fold

schema gestratificeerde k-fold cross-validatie

Gestratificeerde k-fold

# Import StratifiedKFold
from sklearn.model_selection import StratifiedKFold


# Maak een StratifiedKFold-object
str_kf = StratifiedKFold(n_splits=5, shuffle=True, random_state=123)


# Loop door elke cross-validatiesplit
for train_index, test_index in str_kf.split(train, train['target']):
    cv_train, cv_test = train.iloc[train_index], train.iloc[test_index]

Laten we oefenen!

Een Kaggle-competitie winnen met Python