Ajustarea modelelor

Predicția CTR cu Machine Learning în Python

Kevin Huo

Instructor

Regularizare

Exemplu de regularizare cu linie albastră și verde

Regularizare: reducerea supraajustării prin modificarea magnitudinii coeficienților parametrilor din model
Regularizarea poate îmbunătăți metricile de performanță și, implicit, ROI-ul cheltuielilor publicitare

Exemple de regularizare

Regresie logistică: parametrul C este inversul intensității regularizării.
De la cel mai simplu la cel mai complex: C=0.05 < C=0.5 < C=1
Arbore de decizie: parametrul max_depth controlează adâncimea maximă a arborelui.
De la cel mai simplu la cel mai complex: max_depth=3 < max_depth=5 < max_depth=10

Validare încrucișată

Validare încrucișată k-fold

Pentru fiecare dintre cele k folduri, acesta este utilizat ca set de testare (validare), iar celelalte k-1 sunt utilizate pentru antrenare.
Astfel, se obțin k evaluări ale performanței modelului.
Setul separat de testare pentru evaluare finală rămâne disponibil.

Exemple de validare încrucișată

k_fold = KFold(n_splits = 4, random_state = 0, shuffle = True)

for i in [3, 5, 10]:
  clf = DecisionTreeClassifier(max_depth = i)
  cv_precision = cross_val_score(
    clf, X_train, y_train, cv = k_fold, 
    scoring = 'precision_weighted')

Șiruri de scoring: precision_weighted, recall_weighted, roc_auc

Să exersăm!

Predicția CTR cu Machine Learning în Python