Výpočet a odhad obchodní hodnoty

Monitoring Machine Learning in Python

Maciej Balawejder

Data Scientist

Obchodní hodnota modelu

Cílem modelu strojového učení je přinášet obchodní hodnotu.
Obchodní hodnota modelu může klesat z důvodu:
- Změny v chování zákazníků
- Model přestane být užitečný

Matice záměn

Obrázek ukazuje matici záměn s hodnotami TP, FN, FP a TN.

True positive (TP) – model správně předpovídá, že rezervace nebude zrušena
False positive (FP) – model nesprávně předpovídá, že rezervace nebude zrušena
False negative (FN) – model nesprávně předpovídá, že rezervace bude zrušena
True negative (TN) – model správně předpovídá, že rezervace bude zrušena

Vzorec obchodní hodnoty

Obrázek ukazuje násobení a součet matice záměn a matice obchodních hodnot.

True positive (TP) – nepřidává ani neodečítá žádnou hodnotu.
False positive (FP) – vede k přemístěním a slevám, náklad hotelu 200 $.
False negative (FN) – náklad hotelu 100 $, jedno přenocování do nalezení náhrady.
True negative (TN) – hodnota 1 000 $, hotel může pokoj pronajmout jiné osobě.

Když štítky jsou k dispozici

Obrázek ukazuje proces výpočtu obchodní hodnoty modelu, když jsou k dispozici štítky.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')

Když štítky nejsou k dispozici

Obrázek ukazuje proces výpočtu obchodní hodnoty modelu, když nejsou k dispozici štítky.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')

Lass uns üben!

Monitoring Machine Learning in Python