Розрахунок і оцінка бізнес-цінності

Моніторинг Machine Learning у Python

Maciej Balawejder

Data Scientist

Бізнес-цінність моделі

  • Мета моделі машинного навчання — приносити цінність бізнесу.
  • Бізнес-цінність моделі може зменшитися через:
    • Зміну звичок клієнтів
    • Модель може стати непотрібною
Моніторинг Machine Learning у Python

Матриця неточностей

Зображено матрицю неточностей із значеннями TP, FN, FP та TN.

  • True positive (TP) — модель правильно передбачає, що бронювання НЕ буде скасовано
  • False positive (FP) — модель помилково передбачає, що бронювання НЕ буде скасовано
  • False negative (FN) — модель помилково передбачає, що бронювання буде скасовано
  • True negative (TN) — модель правильно передбачає, що бронювання буде скасовано
Моніторинг Machine Learning у Python

Формула бізнес-цінності

Зображено множення й додавання матриці неточностей і матриці бізнес-цінності.

  • True positive (TP) — не додає й не віднімає цінність.
  • False positive (FP) — призводить до переселень і знижок, коштує готелю $200.
  • False negative (FN) — коштує готелю $100: одна ніч до пошуку заміни.
  • True negative (TN) — дає $1000, бо номер можна здати іншому гостю.
Моніторинг Machine Learning у Python

Коли мітки доступні

Показано процес розрахунку бізнес-цінності моделі, коли мітки доступні.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')
Моніторинг Machine Learning у Python

Коли мітки недоступні

Показано процес оцінювання бізнес-цінності моделі, коли мітки недоступні.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')
Моніторинг Machine Learning у Python

Давайте потренуємось!

Моніторинг Machine Learning у Python

Preparing Video For Download...