Ideální pracovní postup monitorování

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Pracovní postupy monitorování

Tradiční pracovní postup monitorování

  • Výpočet technického výkonu

  • Upozornění na základě driftů ve vstupních datech

  • Výsledkem je mnoho falešných upozornění

Ideální pracovní postup monitorování

  • Monitorování technického výkonu

    • Výpočet a odhadování výkonu

  • Analýza kořenových příčin

    • Umožňuje propojit drifty s poklesem výkonu

 

Ideální pracovní postup monitorování začínající monitorováním výkonu. Při poklesu výkonu následuje analýza kořenových příčin a poté řešení problémů.

Monitoring Machine Learning Concepts

Monitorování výkonu

Zahrnuje:

  • Výpočet výkonu – pro technické metriky, jako je přesnost

 

  • Odhadování výkonu – pokud není k dispozici ground truth

 

  • Měření obchodního dopadu – sledování klíčových ukazatelů výkonu

  Graf zobrazuje přesnost v čase, kde přesnost klesá a překračuje stanovenou hranici.

Graf KPI v čase ukazuje, že KPI zůstávají v rámci stanovených hranic.

Monitoring Machine Learning Concepts

Analýza kořenových příčin

Cílem je zkoumat:

 

  • Kovariantní posun – posuny v distribuci vstupních dat

 

  • Concept drift – změny ve vztahu mezi příznaky a cílovými proměnnými

Graf zobrazuje hranici rozhodování mezi modrými a červenými kruhy pro fungující model.

Graf ukazuje posun modrých kruhů přes hranici rozhodování, znázorňující kovariantní posun.

Graf ilustruje změnu hranice rozhodování, která indikuje concept drift.

Monitoring Machine Learning Concepts

Řešení problémů

Možná řešení:

  • Přetrénování – vyžaduje další data a výpočetní kapacitu

 

  • Refaktorování případu použití – přehodnoťte použité metody

 

  • Změna navazujících procesů – upravte procesy okolo predikce

  Obrázek zobrazuje digitální mozek představující model strojového učení a znaménko plus spojené s databází, znázorňující přetrénování modelu s více daty.

Obrázek zobrazuje tabuli s otázkami týkajícími se feature engineeringu, použitých příznaků a lineární regrese.

Obrázek zobrazuje pracovníka ručně ověřujícího něco na počítači.

Monitoring Machine Learning Concepts

Pojďme procvičovat!

Monitoring Machine Learning Concepts

Preparing Video For Download...