Werken met berekende en geschatte resultaten

Monitoring Machine Learning in Python

Maciej Balawejder

Data Scientist

Hoe de data chunken?

De afbeelding toont drie soorten chunking: type-, grootte- en aantalsgebaseerd.

Verschillende chunks opgeven

De afbeelding toont tijdgebaseerde chunking-aliases die je kunt meegeven aan de chunk_period-parameter.

# Initialiseer het algoritme
cbpe = nannyml.CBPE(
   problem_type='classification_binary',
   y_pred_proba='predicted_probability',
   y_pred='prediction',
   y_true='employed',
   metrics=['roc_auc'],
   chunk_period='m',
   # chunk_size = 5000, 
   # chunk_number = 10
)

Aangepaste drempels initialiseren

Standaarddeviatiedrempels

Stel handmatig de onderste en bovenste sd-verm. in

# Standaarddeviatiedrempels
stdt = StandardDeviationThreshold(
    std_lower_multiplier=3, 
    std_upper_multiplier=3
    )

Constante drempels

Stel handmatig de onderste en bovenste waarden in

# Constante drempels
ct = ConstantThreshold(
    lower=0.85, 
    upper=0.95
    )

Aangepaste drempels opgeven

# Importeer drempelmethoden (vorige slide)
from nannyml.thresholds import ConstantThreshold, StandardDeviationThreshold

# Drempels doorgeven aan het CBPE-algoritme
estimator = nannyml.CBPE(...
    metrics = ['roc_auc', 'accuracy'],
    thresholds={'roc_auc': ct, 'accuracy' : stdt}
)

De afbeelding toont geschatte prestatieplots voor ROC AUC en accuracy met aangepaste drempels.

Resultaten filteren

Op periode

filtered_results = results.filter(period='analysis')

Op metrics

filtered_results = results.filter(metrics=['mae'])

Beide

filtered_results = results.filter(period='analysis', metrics=['mae'])

Resultaten exporteren naar dataframe

# Exporteer resultaten naar dataframe-formaat
results.filter(period='analysis').to_df()

De afbeelding toont de resultaten in dataframe-formaat.

Laten we oefenen!

Monitoring Machine Learning in Python