Dostrajanie modeli

Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie

Kevin Huo

Instructor

Regularyzacja

Przykład regularyzacji z niebieską i zieloną linią

Regularyzacja: ograniczanie przeuczenia poprzez modyfikację wielkości współczynników parametrów modelu
Regularyzacja może poprawić metryki wydajności, a tym samym ROI z wydatków na reklamy

Przykłady regularyzacji

Regresja logistyczna: parametr C jest odwrotnością siły regularyzacji.
Od najmniej do najbardziej złożonego: C=0.05 < C=0.5 < C=1
Drzewo decyzyjne: parametr max_depth kontroluje maksymalną głębokość drzewa.
Od najmniej do najbardziej złożonego: max_depth=3 < max_depth=5 < max_depth=10

Walidacja krzyżowa

Walidacja krzyżowa k-fold

Dla każdego z k foldów dany fold służy jako zbiór testowy (walidacyjny), a pozostałe k-1 jako treningowe.
W efekcie uzyskuje się k ocen wydajności modelu.
Należy pamiętać, że osobny zbiór testowy nadal istnieje.

Przykłady walidacji krzyżowej

k_fold = KFold(n_splits = 4, random_state = 0, shuffle = True)

for i in [3, 5, 10]:
  clf = DecisionTreeClassifier(max_depth = i)
  cv_precision = cross_val_score(
    clf, X_train, y_train, cv = k_fold, 
    scoring = 'precision_weighted')

Ciągi oceniania: precision_weighted, recall_weighted, roc_auc

Czas na ćwiczenia!

Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie