Výzvy při monitorování ML modelů

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Komponenty projektu strojového učení

Vennův diagram se třemi kruhy reprezentuje obory softwarového inženýrství, datové analytiky a strojového učení, přičemž průnik všech tří představuje obor datové vědy.

Model neprovádí predikce

Možné problémy :

Jazykové bariéry – kombinování různých programovacích jazyků pomocí „lepicího" kódu

Údržba kódu – problém kompatibility aktualizovaných závislostí

Problémy se škálováním – infrastruktura nezvládá větší počet uživatelů

Predikce modelu selhávají

Kovariantní posun

Změna v distribuci vstupních dat
Detekce pomocí statistických metod je možná
Ne každý posun ovlivňuje výkonnost

Graf hustoty distribuce porovnávající věk zákazníků v trénovací a produkční sadě ukazuje, že trénovací sada je silně zkreslena směrem k nižším věkovým hodnotám. Produkční sada má podobný tvar, ale s výrazným výskytem vyšších věkových hodnot.

Konceptuální posun

Změna vztahu mezi vstupními daty a cílovými hodnotami
Obtížná detekce
Téměř vždy ovlivňuje obchodní dopad modelu

Zobrazuje vztah mezi celoživotní hodnotou zákazníka (CLV) a vstupním příznakem Věk v trénovací i produkční sadě. V produkci se tento vztah mění, což naznačuje konceptuální posun.

Dostupnost skutečných hodnot

Obrázek obchodu s oblečením.

Pojďme si procvičit!

Monitoring Machine Learning Concepts