Calcul de la valeur d'affaires et estimation

Surveiller le Machine Learning en Python

Maciej Balawejder

Data Scientist

Valeur d'affaires du modèle

  • L'objectif d'un modèle de Machine Learning est d'apporter de la valeur à l'entreprise.
  • La valeur d'affaires du modèle peut diminuer à cause :
    • Changement des habitudes des client(e)s
    • Le modèle peut ne plus être utile
Surveiller le Machine Learning en Python

Matrice de confusion

L'image montre une matrice de confusion avec les valeurs TP, FN, FP et TN.

  • Vrai positif (TP) : le modèle prédit correctement qu'une réservation ne sera pas annulée
  • Faux positif (FP) : le modèle prédit à tort qu'une réservation ne sera pas annulée
  • Faux négatif (FN) : le modèle prédit à tort qu'une réservation sera annulée
  • Vrai négatif (TN) : le modèle prédit correctement qu'une réservation sera annulée
Surveiller le Machine Learning en Python

Formule de valeur d'affaires

L'image montre la multiplication et la sommation de la matrice de confusion et de la matrice de valeur d'affaires.

  • Vrai positif (TP) : n'ajoute ni ne retranche de valeur.
  • Faux positif (FP) : entraîne relogements et rabais, cela coûte 200 $ à l'hôtel.
  • Faux négatif (FN) : coûte 100 $ à l'hôtel, une nuitée le temps de trouver un remplacement.
  • Vrai négatif (TN) : vaut 1 000 $ car l'hôtel peut louer la chambre à quelqu'un d'autre.
Surveiller le Machine Learning en Python

Quand les étiquettes sont disponibles

L'image illustre le calcul de la valeur d'affaires du modèle lorsque les étiquettes sont disponibles.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')
Surveiller le Machine Learning en Python

Quand les étiquettes ne sont pas disponibles

L'image illustre l'estimation de la valeur d'affaires du modèle lorsque les étiquettes ne sont pas disponibles.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')
Surveiller le Machine Learning en Python

Passons à la pratique !

Surveiller le Machine Learning en Python

Preparing Video For Download...