Provocările monitorizării modelelor ML

Monitorizarea conceptelor de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Componentele unui proiect ML

Diagramă Venn cu trei cercuri reprezentând ingineria software, analiza datelor și învățarea automată, cu intersecția tuturor trei reprezentând știința datelor.

Modelul nu reușește să facă predicții

Probleme posibile :

Bariere lingvistice - combinarea limbajelor de programare prin cod „lipici"

Întreținerea codului - incompatibilități ale dependențelor actualizate

Probleme de scalare - infrastructură insuficientă pentru mai mulți utilizatori

Predicțiile modelului eșuează

Covariate shift

Modificarea distribuției variabilelor de intrare
Detectabil prin metode statistice
Nu orice drift afectează performanța

Grafic de distribuție care compară vârsta clienților din setul de antrenament și cel de producție: setul de antrenament este puternic asimetric spre valori mici, iar cel de producție are o formă similară, dar cu un vârf la valori mari.

Concept drift

Modificarea relației dintre datele de intrare și ținte
Dificil de detectat
Afectează aproape întotdeauna impactul de business al modelului

Există o relație între valoarea pe durata vieții clientului (CLV) și variabila Vârstă, atât în antrenament, cât și în producție. Relația se schimbă în producție, indicând concept drift.

Disponibilitatea adevărului de referință

Imaginea unui magazin de îmbrăcăminte.

Să exersăm!

Monitorizarea conceptelor de Machine Learning