公開 vs 非公開リーダーボード

Pythonで挑むKaggleコンペティション

Yauhen Babakhin

Kaggle Grandmaster

コンペの評価指標

評価指標 課題タイプ
ROC曲線下面積 (AUC) 分類
F1スコア (F1) 分類
対数損失の平均 (LogLoss) 分類
平均絶対誤差 (MAE) 回帰
平均二乗誤差 (MSE) 回帰
平均適合率@K (MAPK, MAP@K) ランキング
Pythonで挑むKaggleコンペティション

テスト分割

 

テストを公開・非公開に分割

Pythonで挑むKaggleコンペティション

リーダーボード

# Write a submission file to the disk
submission[['id', 'target']].to_csv('submission_1.csv', index=False)

 

提出物 公開LB MSE 非公開LB MSE
submission_1.csv 2.895 ?
Pythonで挑むKaggleコンペティション

過学習

過学習の例

Pythonで挑むKaggleコンペティション

過学習

過学習の例

Pythonで挑むKaggleコンペティション

過学習

公開・非公開リーダーボードでの過学習例

Pythonで挑むKaggleコンペティション

公開 vs 非公開の順位変動（シェイクアップ）

小さなシェイクアップ例

大きなシェイクアップ例

Pythonで挑むKaggleコンペティション

練習しましょう！

Pythonで挑むKaggleコンペティション

Preparing Video For Download...