Wat is NannyML?

Monitoring Machine Learning in Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Vereisten

  • Onderwerpen Machine Learning Monitoring Concepts:
    • De ideale monitoring-workflow
    • Uitdagingen bij het monitoren van ML-modellen in productie
    • Twee stille modelfouten: covariateshift en conceptdrift
    • Zes methoden om covariateshift te detecteren
    • Theorie achter CBPE- en DLE-prestatie-inschatting
Monitoring Machine Learning in Python

Wat behandelen we in deze cursus?

  • Bouw een robuust monitoringsysteem met NannyML
  • Implementeer algoritmes voor prestatie-inschatting
  • Gebruik de business-calculator om de monetaire waarde van je ML-model te bepalen
  • Voer univariate en multivariate methoden voor covariateshift-detectie uit
Monitoring Machine Learning in Python

Monitoring-uitdagingen

$$

Geen toegang tot ground truth

De grafiek toont de ROC AUC in de tijd; na deployment is de grafiek leeg omdat er geen ground truth is.

$$

Alert-moeheid

De afbeelding toont dataverdelingen die in de tijd veranderen; sommige zijn rood (shift), met opmerkingen. Moeten we ons zorgen maken of is het vals alarm?

Monitoring Machine Learning in Python

Open-sourcesolution

Het NannyML-logo en bedrijven die NannyML gebruiken, zoals Walmart, Allianz, UBS en DeepMind. Ook staat dat NannyML met elk framework werkt.

Monitoring Machine Learning in Python

Belangrijkste functies

  1. Monitor wat telt
    • Prestatie-inschatting en -berekening
    • Inschatting en berekening van businesswaarde
  2. Vind wat stuk is
    • Univariate
    • Multivariate
    • Datakwaliteit
  3. Los het op
    • Retraining-triggers
Monitoring Machine Learning in Python

Hoe gebruik je NannyML?

De afbeelding toont test- en productiedata die naar NannyML gaan.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Monitoring Machine Learning in Python

Laten we oefenen!

Monitoring Machine Learning in Python

Preparing Video For Download...