Calculul și estimarea valorii de afaceri

Monitorizarea Machine Learning în Python

Maciej Balawejder

Data Scientist

Valoarea de afaceri a modelului

  • Scopul unui model de machine learning este de a oferi valoare afacerii.
  • Valoarea de afaceri a modelului poate scădea din cauza:
    • Schimbărilor în obiceiurile clienților
    • Modelul poate deveni inutilizabil
Monitorizarea Machine Learning în Python

Matricea de confuzie

Imaginea prezintă matricea de confuzie cu valorile TP, FN, FP și TN.

  • True positive (TP) - modelul prezice corect că o rezervare nu va fi anulată
  • False positive (FP) - modelul prezice incorect că o rezervare nu va fi anulată
  • False negative (FN) - modelul prezice incorect că o rezervare va fi anulată
  • True negative (TN) - modelul prezice corect că o rezervare va fi anulată
Monitorizarea Machine Learning în Python

Formula valorii de afaceri

Imaginea prezintă înmulțirea și sumarea matricei de confuzie cu matricea valorii de afaceri.

  • True positive (TP) - nu adaugă și nu scade nicio valoare.
  • False positive (FP) - generează relocări și reduceri, costă hotelul 200$.
  • False negative (FN) - costă hotelul 100$, o noapte de cazare până la găsirea unui înlocuitor.
  • True negative (TN) - valorează 1000$, deoarece hotelul poate închiria camera altcuiva.
Monitorizarea Machine Learning în Python

Când etichetele sunt disponibile

Imaginea prezintă procesul de calcul al valorii de afaceri a modelului când etichetele sunt disponibile.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')
Monitorizarea Machine Learning în Python

Când etichetele nu sunt disponibile

Imaginea prezintă procesul de calcul al valorii de afaceri a modelului când etichetele nu sunt disponibile.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')
Monitorizarea Machine Learning în Python

Să exersăm!

Monitorizarea Machine Learning în Python

Preparing Video For Download...