Berekening en schatting van bedrijfswaarde

Monitoring Machine Learning in Python

Maciej Balawejder

Data Scientist

Bedrijfswaarde van het model

  • Het doel van een ML‑model is bedrijfswaarde leveren.
  • De bedrijfswaarde kan dalen door:
    • Verandering in klantgedrag
    • Het model is mogelijk niet meer nuttig
Monitoring Machine Learning in Python

Confusion matrix

De afbeelding toont een confusion matrix met TP, FN, FP en TN.

  • True positive (TP) – het model voorspelt correct dat een boeking niet wordt geannuleerd
  • False positive (FP) – het model voorspelt onterecht dat een boeking niet wordt geannuleerd
  • False negative (FN) – het model voorspelt onterecht dat een boeking wordt geannuleerd
  • True negative (TN) – het model voorspelt correct dat een boeking wordt geannuleerd
Monitoring Machine Learning in Python

Formule voor bedrijfswaarde

De afbeelding toont vermenigvuldiging en optelling van de confusion matrix en de bedrijfswaardematrix.

  • True positive (TP) – voegt geen waarde toe of af.
  • False positive (FP) – leidt tot relocaties en kortingen; kost het hotel $200.
  • False negative (FN) – kost het hotel $100, één extra nacht tot vervanging is gevonden.
  • True negative (TN) – levert $1000 op omdat de kamer opnieuw verhuurd kan worden.
Monitoring Machine Learning in Python

Als labels beschikbaar zijn

De afbeelding toont hoe je de bedrijfswaarde van een model berekent wanneer labels beschikbaar zijn.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')
Monitoring Machine Learning in Python

Als labels ontbreken

De afbeelding toont hoe je de bedrijfswaarde van een model schat wanneer labels ontbreken.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')
Monitoring Machine Learning in Python

Laten we oefenen!

Monitoring Machine Learning in Python

Preparing Video For Download...