Perhitungan dan estimasi nilai bisnis

Pemantauan Machine Learning dengan Python

Maciej Balawejder

Data Scientist

Nilai bisnis model

  • Tujuan model machine learning adalah memberi nilai bagi bisnis.
  • Nilai bisnis model bisa turun karena:
    • Perubahan kebiasaan pelanggan
    • Model mungkin tidak lagi bermanfaat
Pemantauan Machine Learning dengan Python

Confusion matrix

Gambar menunjukkan confusion matrix dengan nilai TP, FN, FP, dan TN.

  • True positive (TP) - model benar memprediksi pemesanan tidak dibatalkan
  • False positive (FP) - model salah memprediksi pemesanan tidak dibatalkan
  • False negative (FN) - model salah memprediksi pemesanan dibatalkan
  • True negative (TN) - model benar memprediksi pemesanan dibatalkan
Pemantauan Machine Learning dengan Python

Rumus nilai bisnis

Gambar menunjukkan perkalian dan penjumlahan confusion matrix dan matriks nilai bisnis.

  • True positive (TP) - tidak menambah atau mengurangi nilai.
  • False positive (FP) - memicu relokasi dan diskon; biaya hotel $200.
  • False negative (FN) - biaya hotel $100, satu malam hingga ada pengganti.
  • True negative (TN) - bernilai $1000 karena kamar bisa disewakan ke tamu lain.
Pemantauan Machine Learning dengan Python

Saat label tersedia

Gambar menunjukkan proses menghitung nilai bisnis model saat label tersedia.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')
Pemantauan Machine Learning dengan Python

Saat label tidak tersedia

Gambar menunjukkan proses menghitung nilai bisnis model saat label tidak tersedia.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')
Pemantauan Machine Learning dengan Python

Ayo berlatih!

Pemantauan Machine Learning dengan Python

Preparing Video For Download...