Finjustering av modeller

Förutsäga CTR med maskininlärning i Python

Kevin Huo

Instructor

Regularisering

Regulariseringsexempel med blå och grön linje

Regularisering: minskar överanpassning genom att justera storleken på modellparametrarnas koefficienter
Regularisering kan förbättra prestandamått och därmed ROI på annonskostnader

Exempel på regularisering

Logistisk regression: parametern C är inversen av regulariseringsstyrkan.
Från minst till mest komplex: C=0.05 < C=0.5 < C=1
Beslutsträd: parametern max_depth styr hur många nivåer trädet kan växa.
Från minst till mest komplex: max_depth=3 < max_depth=5 < max_depth=10

Korsvalidering

K-faldig korsvalidering

För varje k-fold används den folden som testmängd (för validering), medan övriga k-1 används för träning.
Du får därmed k utvärderingar av modellens prestanda.
Observera att du fortfarande har en separat testmängd för utvärdering.

Exempel på korsvalidering

k_fold = KFold(n_splits = 4, random_state = 0, shuffle = True)

for i in [3, 5, 10]:
  clf = DecisionTreeClassifier(max_depth = i)
  cv_precision = cross_val_score(
    clf, X_train, y_train, cv = k_fold, 
    scoring = 'precision_weighted')

Poängsättningssträngar: precision_weighted, recall_weighted, roc_auc

Nu kör vi en övning!

Förutsäga CTR med maskininlärning i Python