Estimasi performa

Pemantauan Machine Learning dengan Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Algoritme

  • CBPE - estimasi performa berbasis kepercayaan
  • DLE - estimasi loss langsung
Pemantauan Machine Learning dengan Python

Estimasi loss langsung

  • Untuk tugas regresi
  • Mengestimasi fungsi loss model yang dipantau
  • LGBM dipakai sebagai model "ekstra"
  • NannyML mendukung metrik regresi seperti MAE, MSE, atau RMSE

 

Gambar menunjukkan cara kerja DLE. Data produksi masuk, lalu berdasarkan prediksi dan data produksi dibuat himpunan analisis. Himpunan ini diberikan ke model ekstra untuk memprediksi performa.

Pemantauan Machine Learning dengan Python

DLE - implementasi kode

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)
Pemantauan Machine Learning dengan Python

Estimasi performa berbasis kepercayaan

  • Untuk klasifikasi biner dan multikelas

  • Memanfaatkan skor kepercayaan untuk mengestimasi confusion matrix

  • Mengestimasi metrik performa klasifikasi apa pun

 

Gambar menunjukkan cara kerja CBPE. Kita berikan himpunan analisis ke CBPE dan memprediksi confusion matrix. Berdasarkan confusion matrix, metrik klasifikasi lain dihitung.

Pemantauan Machine Learning dengan Python

CBPE - implementasi kode

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)
Pemantauan Machine Learning dengan Python

Hasil

results.plot().show()

Plot menampilkan estimasi metrik RMSE dari waktu ke waktu.

Pemantauan Machine Learning dengan Python

Ayo berlatih!

Pemantauan Machine Learning dengan Python

Preparing Video For Download...