Estimation du rendement

Surveiller le Machine Learning en Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Les algorithmes

CBPE - estimation du rendement fondée sur la confiance
DLE - estimation directe de la perte

Estimation directe de la perte

Utilisé pour les tâches de régression
Estime la fonction de perte du modèle surveillé
LGBM est utilisé comme modèle « supplémentaire »
NannyML prend en charge diverses mesures de régression comme MAE, MSE ou RMSE

L'image illustre le fonctionnement de DLE. D'abord, les données de production alimentent l'algorithme; à partir des prédictions et des données de production, l'ensemble d'analyse est créé. Cet ensemble est transmis au modèle supplémentaire pour prédire le rendement.

DLE - implantation du code

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Estimation du rendement fondée sur la confiance

Utilisé pour les classifications binaire et multiclasse
Exploite les scores de confiance pour estimer la matrice de confusion
Estime toute mesure de rendement en classification

L'image illustre le fonctionnement de CBPE. On transmet d'abord l'ensemble d'analyse à CBPE pour prédire la matrice de confusion. À partir de celle-ci, d'autres mesures de classification sont calculées.

CBPE - implantation du code

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Résultats

results.plot().show()

Le graphique obtenu montre l'estimation de la RMSE dans le temps.

Passons à la pratique !

Surveiller le Machine Learning en Python