モデルのチューニング

PythonでMachine Learningを使ってCTRを予測する

Kevin Huo

Instructor

正則化

正則化の例（青と緑の線）

正則化：モデル内の係数の大きさを調整して過学習に対処
正則化は指標（パフォーマンス）を高め、広告費のROIを向上させることがある

正則化の例

ロジスティック回帰：C は正則化強度の逆数。
複雑さ（小→大）：C=0.05 < C=0.5 < C=1
決定木：max_depth は木の深さ（層数）を制御。
複雑さ（小→大）：max_depth=3 < max_depth=5 < max_depth=10

交差検証

K 分割交差検証

各 k 分割で、その分割を検証用（テスト）に、残り k-1 を学習用に使う。
したがって、モデル性能の評価が k 回得られる。
別途、最終評価用のテストセットは維持する。

交差検証の例

k_fold = KFold(n_splits = 4, random_state = 0, shuffle = True)

for i in [3, 5, 10]:
  clf = DecisionTreeClassifier(max_depth = i)
  cv_precision = cross_val_score(
    clf, X_train, y_train, cv = k_fold, 
    scoring = 'precision_weighted')

スコア名: precision_weighted, recall_weighted, roc_auc

Let's practice!

PythonでMachine Learningを使ってCTRを予測する