Saat label tersedia

Pemantauan Machine Learning dengan Python

Maciej Balawejder

Data Scientist

Terestimasi vs terealisasi

Kinerja terestimasi:

  • mengukur seberapa baik model diperkirakan bekerja

  • ditentukan dengan estimator seperti CBPE dan DLE

  • diestimasi saat ground truth tidak tersedia

Kinerja terealisasi:

  • mewakili kinerja yang diukur
  • ditentukan dengan calculator kinerja
  • dihitung saat ground truth tersedia
Pemantauan Machine Learning dengan Python

Ground truth tertunda

Gambar menampilkan sumbu waktu dengan tiga titik tiap minggu. Setiap Senin, kinerja terealisasi model dievaluasi, sementara estimator CBPE digunakan untuk mengestimasi kinerja di antara hari Senin.

Pemantauan Machine Learning dengan Python

Performance calculator

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Pemantauan Machine Learning dengan Python

Plot hasil

# Show realized performance plot
results.plot().show()

Gambar menunjukkan grafik ROC AUC terealisasi, menampilkan penurunan kinerja dari April 2019 hingga Agustus 2019.

Pemantauan Machine Learning dengan Python

Kinerja terealisasi vs terestimasi

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Pemantauan Machine Learning dengan Python

Kinerja terealisasi vs terestimasi

Plot membandingkan kinerja terealisasi dan terestimasi untuk metrik ROC AUC.

Pemantauan Machine Learning dengan Python

Ayo berlatih!

Pemantauan Machine Learning dengan Python

Preparing Video For Download...