Lucrul cu rezultate calculate și estimate

Monitorizarea Machine Learning în Python

Maciej Balawejder

Data Scientist

Cum se împart datele în bucăți?

Imaginea arată trei tipuri de împărțire în bucăți: bazată pe tip, pe dimensiune și pe număr.

Specificarea diferitelor bucăți

Imaginea arată aliasurile de împărțire bazată pe timp ce pot fi transmise ca argument pentru parametrul de perioadă al bucăților.

# Initialize the algorithm
cbpe = nannyml.CBPE(
   problem_type='classification_binary',
   y_pred_proba='predicted_probability',
   y_pred='prediction',
   y_true='employed',
   metrics=['roc_auc'],
   chunk_period='m',
   # chunk_size = 5000, 
   # chunk_number = 10
)

Inițializarea pragurilor personalizate

Praguri bazate pe abatere standard

Setați manual multiplicatorul inferior și superior al abaterii standard

# Standard deviation thresholds
stdt = StandardDeviationThreshold(
    std_lower_multiplier=3, 
    std_upper_multiplier=3
    )

Praguri constante

Setați manual valorile pragului inferior și superior

# Constant thresholds
ct = ConstantThreshold(
    lower=0.85, 
    upper=0.95
    )

Specificarea pragurilor personalizate

# Import threshold methods(last slide)
from nannyml.thresholds import ConstantThreshold, StandardDeviationThreshold

# Passing thresholds to the CBPE algorithm
estimator = nannyml.CBPE(...
    metrics = ['roc_auc', 'accuracy'],
    thresholds={'roc_auc': ct, 'accuracy' : stdt}
)

Imaginea arată graficele de performanță estimată pentru metricile ROC AUC și acuratețe cu praguri personalizate.

Filtrarea rezultatelor

După perioadă

filtered_results = results.filter(period='analysis')

După metrici

filtered_results = results.filter(metrics=['mae'])

Ambele

filtered_results = results.filter(period='analysis', metrics=['mae'])

Exportarea rezultatelor în dataframe

# Export results to dataframe format
results.filter(period='analysis').to_df()

Imaginea arată rezultatele în format dataframe.

Să exersăm!

Monitorizarea Machine Learning în Python