Co je NannyML?

Monitoring Machine Learning in Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Předpoklady

  • Témata z oblasti monitorování strojového učení:
    • Ideální monitorovací workflow
    • Výzvy monitorování ML modelů v produkci
    • Dvě tiché selhání modelu, kovariantní posun a konceptový drift
    • Šest metod detekce kovariantního posunu
    • Teoretické základy metod odhadu výkonu CBPE a DLE
Monitoring Machine Learning in Python

Co tento kurz pokryje?

  • Vybudování robustního monitorovacího systému pomocí NannyML
  • Implementace algoritmů odhadu výkonu
  • Použití obchodní kalkulačky pro určení peněžní hodnoty ML modelu
  • Spuštění univariátních a multivariátních metod detekce kovariantního posunu
Monitoring Machine Learning in Python

Výzvy monitorování

$$

Nedostupnost ground truth

Graf zobrazuje metriku ROC AUC v čase; po nasazení je graf prázdný, protože ground truth není dostupná.

$$

Přehlcení upozorněními

Obrázek zobrazuje změny distribuce dat v čase; některé jsou červeně označeny jako posun s komentáři. Je čas se znepokojit, nebo jde o falešný poplach?

Monitoring Machine Learning in Python

Open-source řešení

Obrázek zobrazuje logo NannyML a společnosti, které NannyML používají, jako Walmart, Allianz, UBS nebo DeepMind. Také ukazuje, že NannyML funguje s jakýmkoli frameworkem.

Monitoring Machine Learning in Python

Klíčové funkce

  1. Sledujte, co je důležité
    • Odhad a výpočet výkonu
    • Odhad a výpočet obchodní hodnoty
  2. Najděte příčinu problému
    • Univariátní
    • Multivariátní
    • Kvalita dat
  3. Opravte to
    • Spouštěče přetrénování
Monitoring Machine Learning in Python

Jak používat NannyML?

Obrázek znázorňuje testovací a produkční data přicházející do NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Monitoring Machine Learning in Python

Pojďme si to procvičit!

Monitoring Machine Learning in Python

Preparing Video For Download...