การคำนวณและประเมินมูลค่าทางธุรกิจ

การติดตามตรวจสอบ Machine Learning ด้วย Python

Maciej Balawejder

Data Scientist

มูลค่าทางธุรกิจของโมเดล

  • เป้าหมายของโมเดล machine learning คือการสร้างมูลค่าให้กับธุรกิจ
  • มูลค่าทางธุรกิจของโมเดลอาจลดลงได้เนื่องจาก:
    • พฤติกรรมของลูกค้าเปลี่ยนแปลง
    • โมเดลอาจไม่มีประโยชน์อีกต่อไป
การติดตามตรวจสอบ Machine Learning ด้วย Python

Confusion matrix

ภาพแสดง confusion matrix พร้อมค่า TP, FN, FP และ TN

  • True positive (TP) - โมเดลทำนายถูกต้องว่าการจองจะไม่ถูกยกเลิก
  • False positive (FP) - โมเดลทำนายผิดพลาดว่าการจองจะไม่ถูกยกเลิก
  • False negative (FN) - โมเดลทำนายผิดพลาดว่าการจองจะถูกยกเลิก
  • True negative (TN) - โมเดลทำนายถูกต้องว่าการจองจะถูกยกเลิก
การติดตามตรวจสอบ Machine Learning ด้วย Python

สูตรคำนวณมูลค่าทางธุรกิจ

ภาพแสดงการคูณและรวม confusion matrix กับ business value matrix

  • True positive (TP) - ไม่เพิ่มหรือลดมูลค่าใด ๆ
  • False positive (FP) - นำไปสู่การย้ายห้องและส่วนลด มีต้นทุน $200
  • False negative (FN) - มีต้นทุน $100 สำหรับการพักหนึ่งคืนจนกว่าจะหาห้องทดแทนได้
  • True negative (TN) - มีมูลค่า $1,000 เนื่องจากโรงแรมสามารถให้เช่าห้องกับลูกค้ารายอื่น
การติดตามตรวจสอบ Machine Learning ด้วย Python

เมื่อมี label พร้อมใช้งาน

ภาพแสดงกระบวนการคำนวณมูลค่าทางธุรกิจของโมเดลเมื่อมี label พร้อมใช้งาน

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')
การติดตามตรวจสอบ Machine Learning ด้วย Python

เมื่อไม่มี label

ภาพแสดงกระบวนการคำนวณมูลค่าทางธุรกิจของโมเดลเมื่อไม่มี label

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')
การติดตามตรวจสอบ Machine Learning ด้วย Python

มาฝึกกันเถอะ!

การติดตามตรวจสอบ Machine Learning ด้วย Python

Preparing Video For Download...