Prestandauppskattning

Övervakning av maskininlärning i Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Algoritmerna

CBPE – konfidensbaserad prestandauppskattning
DLE – direkt förlustuppskattning

Direkt förlustuppskattning

Används för regressionsuppgifter
Uppskattar förlustfunktionen för den övervakade modellen
LGBM används som en "extra" modell
NannyML stöder olika regressionsmetriker som MAE, MSE och RMSE

Bilden visar hur DLE-algoritmen fungerar. Produktionsdata skickas till algoritmen och utifrån prediktioner och produktionsdata skapas analysdatamängden. Analysdatamängden skickas sedan till extramodellen för att uppskatta prestandan.

DLE – kodimplementering

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Konfidensbaserad prestandauppskattning

Används för binära och flerklass-klassificeringsproblem
Utnyttjar konfidenspoäng för att uppskatta konfusionsmatrisen
Uppskattar valfri klassificeringsmetrik

Bilden visar hur CBPE-algoritmen fungerar. Analysdatamängden skickas till CBPE-algoritmen som predikterar konfusionsmatrisen. Utifrån konfusionsmatrisen beräknas övriga klassificeringsmetriker.

CBPE – kodimplementering

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

Resultat

results.plot().show()

Diagrammet visar de uppskattade RMSE-metrikerna över tid.

Nu kör vi en övning!

Övervakning av maskininlärning i Python