เมื่อมี label พร้อมใช้งาน

การติดตามตรวจสอบ Machine Learning ด้วย Python

Maciej Balawejder

Data Scientist

ประสิทธิภาพที่ประมาณการ vs ที่วัดจริง

ประสิทธิภาพที่ประมาณการ:

  • วัดว่าโมเดลคาดว่าจะทำงานได้ดีแค่ไหน

  • กำหนดโดยใช้ estimator เช่น CBPE และ DLE

  • ประมาณการ เมื่อไม่มี ground truth

ประสิทธิภาพที่วัดจริง:

  • แสดงประสิทธิภาพที่ วัดได้จริง
  • กำหนดโดยใช้ calculator ประสิทธิภาพ
  • คำนวณ เมื่อมี ground truth พร้อมใช้งาน
การติดตามตรวจสอบ Machine Learning ด้วย Python

Ground truth ที่ล่าช้า

ภาพแสดงแกนเวลาพร้อมจุดสามจุดในแต่ละสัปดาห์ ทุกวันจันทร์จะมีการประเมินประสิทธิภาพจริงของโมเดล ส่วน CBPE estimator จะใช้ประมาณการประสิทธิภาพในช่วงระหว่างวันจันทร์

การติดตามตรวจสอบ Machine Learning ด้วย Python

Performance calculator

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
การติดตามตรวจสอบ Machine Learning ด้วย Python

พล็อตผลลัพธ์

# Show realized performance plot
results.plot().show()

ภาพแสดงกราฟ ROC AUC จริง โดยพบว่าประสิทธิภาพลดลงตั้งแต่เดือนเมษายน 2019 ถึงสิงหาคม 2019

การติดตามตรวจสอบ Machine Learning ด้วย Python

ประสิทธิภาพจริงและที่ประมาณการ

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
การติดตามตรวจสอบ Machine Learning ด้วย Python

ประสิทธิภาพจริงและที่ประมาณการ

กราฟเปรียบเทียบประสิทธิภาพจริงและที่ประมาณการสำหรับ metric ROC AUC

การติดตามตรวจสอบ Machine Learning ด้วย Python

มาฝึกกันเถอะ!

การติดตามตรวจสอบ Machine Learning ด้วย Python

Preparing Video For Download...