Ajuste de modelos

Prevendo CTR com Machine Learning em Python

Kevin Huo

Instructor

Regularização

Exemplo de regularização com linha azul e verde

Regularização: combate o overfitting ajustando a magnitude dos coeficientes dos parâmetros do modelo
Pode aumentar métricas de desempenho e, assim, o ROI em mídia

Exemplos de regularização

Regressão Logística: o parâmetro C é o inverso da força de regularização.
Do menos ao mais complexo: C=0.05 < C=0.5 < C=1
Árvore de Decisão: o parâmetro max_depth limita quantos níveis a árvore pode ter.
Do menos ao mais complexo: max_depth=3 < max_depth=5 < max_depth=10

Validação cruzada

Validação cruzada k-fold

Em cada um dos k folds, ele é usado como teste (validação) e os outros k-1 como treino.
Assim, você tem k avaliações do desempenho do modelo.
Ainda há um conjunto de teste separado para avaliação final.

Exemplos de validação cruzada

k_fold = KFold(n_splits = 4, random_state = 0, shuffle = True)

for i in [3, 5, 10]:
  clf = DecisionTreeClassifier(max_depth = i)
  cv_precision = cross_val_score(
    clf, X_train, y_train, cv = k_fold, 
    scoring = 'precision_weighted')

Strings de scoring: precision_weighted, recall_weighted, roc_auc

Vamos praticar!

Prevendo CTR com Machine Learning em Python