Ce este NannyML?

Monitorizarea Machine Learning în Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Cerințe prealabile

  • Subiecte din Monitorizarea Machine Learning:
    • Fluxul ideal de monitorizare
    • Provocările monitorizării modelelor ML în producție
    • Două eșecuri silențioase: covariate shift și concept drift
    • Șase metode de detectare a covariate shift
    • Conceptele teoretice din spatele metodelor CBPE și DLE
Monitorizarea Machine Learning în Python

Ce acoperă acest curs?

  • Construiți un sistem robust de monitorizare cu NannyML
  • Implementați algoritmi de estimare a performanței
  • Utilizați calculatorul de business pentru a determina valoarea monetară a modelului
  • Rulați metode univariate și multivariate de detectare a covariate shift
Monitorizarea Machine Learning în Python

Provocările monitorizării

$$

Fără acces la ground truth

Graficul arată metrica ROC AUC în timp; după implementare, graficul este gol deoarece nu există acces la ground truth.

$$

Oboseala alertelor

Imaginea arată modificări ale distribuției datelor în timp; unele sunt marcate cu roșu, indicând un shift, cu comentarii scrise. Este momentul să ne îngrijorăm sau este o alarmă falsă?

Monitorizarea Machine Learning în Python

Soluție open-source

Imaginea prezintă logo-ul NannyML și companii care utilizează NannyML, precum Walmart, Allianz, UBS sau DeepMind. De asemenea, arată că NannyML funcționează cu orice framework.

Monitorizarea Machine Learning în Python

Funcționalitățile principale

  1. Monitorizați ce contează
    • Estimarea și calculul performanței
    • Estimarea și calculul valorii de business
  2. Identificați problemele
    • Univariat
    • Multivariat
    • Calitatea datelor
  3. Remediați
    • Triggere pentru reantrenare
Monitorizarea Machine Learning în Python

Cum se utilizează NannyML?

Imaginea arată datele de testare și de producție care ajung în NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Monitorizarea Machine Learning în Python

Să exersăm!

Monitorizarea Machine Learning în Python

Preparing Video For Download...