Estimarea performanței

Monitorizarea conceptelor de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Prezentare generală

Doi algoritmi de estimare a performanței:

  • CBPE - sarcini de clasificare
  • DLE - sarcini de regresie
Monitorizarea conceptelor de Machine Learning

CBPE - Cum funcționează

  • Estimează o matrice de confuzie

 

  • Permite calcularea metricilor de clasificare: acuratețe, precizie, recall

 

  • Captează impactul covariate shift asupra modelului

 

Algoritmul CBPE este ilustrat într-o imagine care arată cum funcționează. Primul model face o predicție pe baza unui exemplu, iar această predicție este utilizată pentru a determina clasa. De exemplu, dacă modelul prezice o valoare de 0.9 pentru un exemplu, clasa este pozitivă deoarece valoarea depășește 0.5. Altfel, dacă valoarea este sub 0.5, clasa este negativă. Procesul de predicție se aplică tuturor exemplelor din set, iar scorurile de încredere rezultate sunt agregate pentru a genera o matrice de confuzie estimată.

Monitorizarea conceptelor de Machine Learning

CBPE - Considerații

  • Fără covariate shift în regiunile nevăzute

 

  • Fără concept drift în datele noi

 

  • Necesită calibrarea probabilităților
Monitorizarea conceptelor de Machine Learning

DLE - Cum funcționează

  • Prezice eroarea absolută a modelului

 

  • Utilizează un model copil extern

 

  • Permite calcularea metricilor de regresie: MAE, MSE, MSLE

 

  • Captează prezența covariate shift în datele de intrare

Imaginea descrie procesul de estimare a performanței pentru o sarcină de regresie în producție. Inițial, datele de analiză sunt introduse în model pentru a genera predicții. Aceste predicții, împreună cu datele de analiză, sunt transmise modelului copil, care prezice eroarea. Pe baza acestei predicții a erorii, sunt calculate alte metrici de regresie pentru a evalua performanța modelului.

Monitorizarea conceptelor de Machine Learning

DLE - Considerații

  • Fără covariate shift în regiunile nevăzute

 

  • Fără concept drift în datele noi

 

  • Complexitate suplimentară
Monitorizarea conceptelor de Machine Learning

Să exersăm!

Monitorizarea conceptelor de Machine Learning

Preparing Video For Download...