Beräkning och uppskattning av affärsvärde

Övervakning av maskininlärning i Python

Maciej Balawejder

Data Scientist

Modellens affärsvärde

Målet med en maskininlärningsmodell är att skapa värde för verksamheten.
Modellens affärsvärde kan minska på grund av:
- Förändringar i kundernas vanor
- Modellen kanske inte längre är användbar

Förväxlingsmatris

Bilden visar en förväxlingsmatris med värdena TP, FN, FP och TN.

Sant positivt (TP) – modellen förutsäger korrekt att en bokning inte kommer att avbokas
Falskt positivt (FP) – modellen förutsäger felaktigt att en bokning inte kommer att avbokas
Falskt negativt (FN) – modellen förutsäger felaktigt att en bokning kommer att avbokas
Sant negativt (TN) – modellen förutsäger korrekt att en bokning kommer att avbokas

Formel för affärsvärde

Bilden visar multiplikation och summering av förväxlingsmatrisen och affärsvärdesmatrisen.

Sant positivt (TP) – tillför eller drar inte ifrån något värde.
Falskt positivt (FP) – leder till omplaceringar och rabatter, kostar hotellet 200 dollar.
Falskt negativt (FN) – kostar hotellet 100 dollar, en natt tills en ersättare hittas.
Sant negativt (TN) – värt 1 000 dollar eftersom hotellet kan hyra ut rummet till någon annan.

När etiketter finns tillgängliga

Bilden visar processen för att beräkna modellens affärsvärde när etiketter finns tillgängliga.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')

När etiketter inte finns tillgängliga

Bilden visar processen för att beräkna modellens affärsvärde när etiketter inte finns tillgängliga.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')

Nu kör vi en övning!

Övervakning av maskininlärning i Python