Přímé sledování technického výkonu

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Vztah mezi kovariantním posunem a výkonem

Tři typy kovariantního posunu:

  • Posun do určitých oblastí

    • více žadatelů o úvěr s vysokými příjmy

  • Posun do nedostatečně zastoupených oblastí

    • 10 % žadatelů z oblasti technologií místo 0,5 % z trénovacích dat

  • Posun do méně jistých oblastí

    • posun z 20 % na 40 % žadatelů se středními příjmy blízko rozhodovací hranice

 

-> Bez dopadu

 

-> Neznámý dopad

 

-> Negativní dopad

Monitoring Machine Learning Concepts

Zaručený negativní dopad

 
 
 
 

Kovariantní posun do nejistých oblastí vždy negativně ovlivňuje výkon

Vizualizace trénovacího období zvýrazňuje oblast, kde si model je nejméně jistý. V produkci se v této oblasti nachází více lidí než dříve.

Monitoring Machine Learning Concepts

Problém falešných upozornění

Obrázek zobrazuje tečky představující upozornění a jak důležitá upozornění mohou být přehlédnuta při příliš velkém množství tečet

Monitoring Machine Learning Concepts

Důležitost technického výkonu

  • Přímá metrika toho, jak dobře model plní svůj úkol

 

  • Zachycuje jakékoli tiché selhání modelu

 

  • Eliminuje přetížení falešnými upozorněními

Obrázek zobrazuje část monitorovacího diagramu: první pole „Monitorování výkonu", pod ním přerušovaná čára a přerušované pole s otázkou, zda model stále funguje, vpravo diamant „Degradace výkonu", šipka doprava s „ano" a smyčka zpět s „ne".

Monitoring Machine Learning Concepts

Pojďme si procvičit!

Monitoring Machine Learning Concepts

Preparing Video For Download...