Ocena modelu

Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie

Kevin Huo

Instructor

Precyzja i czułość

Precyzja: udział kliknięć w łącznej liczbie wyświetleń, TP / (TP + FP)
- Wyższa precyzja oznacza wyższy ROI z wydatków na reklamy
Czułość: udział uzyskanych kliknięć spośród wszystkich dostępnych, TP / (TP + FN)
- Wyższa czułość oznacza lepsze docieranie do odpowiedniej grupy odbiorców

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75

Ważne jest ocenianie klasyfikatorów względem odpowiedniego punktu odniesienia
- Ze względu na niezrównoważony charakter danych o kliknięciach, punktem odniesienia jest klasyfikator zawsze przewidujący brak kliknięcia

y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]

Dla klasyfikatora bazowego tp i fp będą wynosić zero
W związku z tym łączny zwrot i łączne wydatki wyniosą zero, a ROI będzie nieokreślone
Macierz pomyłek za pomocą confusion_matrix() oraz ravel() do uzyskania czterech kategorii wyników
```
total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
```

Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie