Vad är NannyML?

Övervakning av maskininlärning i Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Förkunskaper

  • Förkunskaper inom maskininlärningsövervakning:
    • Det ideala övervakningsarbetsflödet
    • Utmaningar med att övervaka ML-modeller i produktion
    • Två typer av tysta modellfel, kovariatskifte och konceptdrift
    • Sex metoder för att identifiera kovariatskifte
    • De teoretiska koncepten bakom prestandaestimationsmetoderna CBPE och DLE
Övervakning av maskininlärning i Python

Vad kursen täcker

  • Bygg ett robust övervakningssystem med NannyML
  • Implementera prestandaestimationsalgoritmer
  • Använd affärskalkylatorn för att bestämma det monetära värdet av din maskininlärningsmodell
  • Kör univariata och multivariata metoder för kovariatskiftedetektering
Övervakning av maskininlärning i Python

Övervakningsutmaningar

$$

Ingen tillgång till facit

Grafen visar ROC AUC-måttet över tid, där grafen är tom efter driftsättning eftersom det saknas tillgång till facit.

$$

Varningströtthet

Bilden visar hur datadistributionen förändras över tid; vissa markeringar är röda och indikerar ett skifte, med kommentarer: Är det dags att oroa sig, eller är det ett falsklarm?

Övervakning av maskininlärning i Python

Lösning med öppen källkod

Bilden visar NannyML-logotypen och företag som använder NannyML, som Walmart, Allianz, UBS och DeepMind. Den visar också att NannyML fungerar med vilket ramverk som helst.

Övervakning av maskininlärning i Python

Huvudfunktionerna

  1. Övervaka det som spelar roll
    • Prestandaestimering och -beräkning
    • Affärsvärdesestimering och -beräkning
  2. Hitta vad som är felaktigt
    • Univariat
    • Multivariat
    • Datakvalitet
  3. Åtgärda det
    • Utlösare för omträning
Övervakning av maskininlärning i Python

Hur använder man NannyML?

Bilden visar test- och produktionsdata som flödar in i NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Övervakning av maskininlärning i Python

Nu kör vi en övning!

Övervakning av maskininlärning i Python

Preparing Video For Download...