Fluxul ideal de monitorizare

Monitorizarea conceptelor de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Fluxuri de monitorizare

Flux tradițional de monitorizare

  • Calcularea performanței tehnice

  • Alerte bazate pe drifturi în datele de intrare

  • Generează multe alerte false

Flux ideal de monitorizare

  • Monitorizarea performanței tehnice

    • Calcularea și estimarea performanței

  • Analiza cauzei principale

    • Permite corelarea drifturilor cu scăderile de performanță

 

Fluxul ideal de monitorizare începe cu monitorizarea performanței. Dacă există degradare, se efectuează analiza cauzei principale, urmată de rezolvarea problemei.

Monitorizarea conceptelor de Machine Learning

Monitorizarea performanței

Implică:

  • Calcularea performanței - pentru metrici tehnice precum acuratețea

 

  • Estimarea performanței - dacă ground truth-ul nu este disponibil

 

  • Măsurarea impactului de business - monitorizarea indicatorilor cheie de performanță

  Graficul prezintă acuratețea în timp, care scade și depășește pragul stabilit.

Graficul KPI în funcție de timp arată că valorile rămân în limitele pragurilor specificate.

Monitorizarea conceptelor de Machine Learning

Analiza cauzei principale

Scopul este investigarea:

 

  • Covariate shift - modificări în distribuția datelor de intrare

 

  • Concept drift - schimbări în relația dintre caracteristici și ținte

Graficul prezintă granița de decizie dintre cercurile albastre și roșii pentru un model funcțional.

Graficul demonstrează deplasarea cercurilor albastre peste granița de decizie, indicând un covariate shift.

Graficul ilustrează schimbarea graniței de decizie, indicând concept drift.

Monitorizarea conceptelor de Machine Learning

Rezolvarea problemelor

Soluții posibile:

  • Reantrenare - necesită date și resurse de calcul suplimentare

 

  • Refactorizarea cazului de utilizare - reconsiderați metodele folosite

 

  • Modificarea proceselor din aval - ajustați procesele din jurul predicției

  Imaginea prezintă un creier digital, reprezentând un model de învățare automată, și un semn plus conectat la o bază de date, indicând procesul de reantrenare a modelului cu mai multe date.

Imaginea prezintă o tablă de lucru cu întrebări legate de ingineria caracteristicilor, caracteristicile utilizate și regresia liniară.

Imaginea prezintă un angajat care verifică manual ceva pe un calculator.

Monitorizarea conceptelor de Machine Learning

Să exersăm!

Monitorizarea conceptelor de Machine Learning

Preparing Video For Download...