Travailler avec des résultats calculés et estimés

Surveiller le Machine Learning en Python

Maciej Balawejder

Data Scientist

Comment segmenter les données ?

L'image montre trois types de segmentation : par type, par taille et par nombre.

Spécifier différentes segmentations

L'image montre des alias de segmentation par temps pouvant être passés en argument au paramètre de période de segmentation.

# Initialize the algorithm
cbpe = nannyml.CBPE(
   problem_type='classification_binary',
   y_pred_proba='predicted_probability',
   y_pred='prediction',
   y_true='employed',
   metrics=['roc_auc'],
   chunk_period='m',
   # chunk_size = 5000, 
   # chunk_number = 10
)

Initialiser des seuils personnalisés

Seuils d'écart type

Définir manuellement les multiplicateurs inférieur et supérieur d'écart type

# Standard deviation thresholds
stdt = StandardDeviationThreshold(
    std_lower_multiplier=3, 
    std_upper_multiplier=3
    )

Seuils constants

Définir manuellement les valeurs de seuil inférieure et supérieure

# Constant thresholds
ct = ConstantThreshold(
    lower=0.85, 
    upper=0.95
    )

Spécifier des seuils personnalisés

# Import threshold methods(last slide)
from nannyml.thresholds import ConstantThreshold, StandardDeviationThreshold

# Passing thresholds to the CBPE algorithm
estimator = nannyml.CBPE(...
    metrics = ['roc_auc', 'accuracy'],
    thresholds={'roc_auc': ct, 'accuracy' : stdt}
)

L'image montre des graphiques de performance estimée pour les mesures ROC AUC et accuracy avec des seuils personnalisés.

Filtrer les résultats

Par période

filtered_results = results.filter(period='analysis')

Par mesure

filtered_results = results.filter(metrics=['mae'])

Les deux

filtered_results = results.filter(period='analysis', metrics=['mae'])

Exporter les résultats en dataframe

# Export results to dataframe format
results.filter(period='analysis').to_df()

L'image montre les résultats au format dataframe.

Passons à la pratique !

Surveiller le Machine Learning en Python