Proč je nutné monitorovat model

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Strojové učení v produkci

Typický vývojový proces

Tok šipek zahrnuje čtyři klíčové kroky: definování projektu, přípravu dat, trénování modelu a jeho nasazení.

Po nasazení

Aktualizovaná verze vývojového cyklu datové vědy obsahuje novou šipku pro monitorování po fázi nasazení. Šipky také propojují fázi monitorování s předchozími fázemi – přípravou dat, trénováním modelu a nasazením – umožňujíce iterativní zlepšování na základě poznatků z monitorování.

Snižování rizika selhání

Případ Zillow

Cedule „Na prodej" před domem.

Příčiny selhání modelu:

Softwarové problémy
Drift vstupních dat
Změny ve vztahu mezi příznaky a cílovými hodnotami

Maximalizace obchodního dopadu

Optimalizace modelu ve vztahu k obchodním cílům

Snižování nákladů na cloud

Obrázek zobrazuje pyramidu ze šesti dřevěných bloků. Základní vrstva obsahuje KPI z každého písmene na blocích. Ostatní vrstvy symbolizují růst, dosažení cílů a zvýšenou efektivitu.