Jak řešit koncový drift?

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Detekce koncového driftu

Metody založené na chybách
- sledování změn chyb v čase
- vyžaduje skutečné hodnoty

Trénování nového modelu na trénovacích a produkčních datech
- změna predikcí signalizuje koncový drift
- nákladné při pokročilých případech použití

Přetrénování

Obrázek zobrazuje dva grafy. První graf znázorňuje postupné snižování přesnosti modelu v čase. Druhý graf ukazuje mírný pokles přesnosti, po němž následuje přetrénování vedoucí k jejímu zvýšení. Tento proces se opakuje v pravidelných intervalech.

Výhody :

model zůstává aktuální s nejnovějšími vzory

Nevýhody :

vyšší náklady a riziko selhání
neodhaluje příčinu problému

Online učení

Obrázek znázorňuje cyklus online učení, při němž jsou data z aplikace odesílána do databáze a okamžitě použita k aktualizaci modelu. Aktualizovaný model je poté znovu nasazen.

Výhody :

adaptace v reálném čase na měnící se podmínky

Nevýhody :

vyžaduje trvalý přístup ke skutečným hodnotám
citlivé na šum
vyžaduje pečlivé ladění parametrů

Další řešení

Model specifický pro opakující se události

Vážení důležitosti nových dat
- s důrazem na novější data se model snadněji přizpůsobí

Obrázek zobrazuje časovou osu, kde je 23. listopadu nasazen běžný model a 24. listopadu model pro Černý pátek. Poté je znovu nasazen běžný model.

Pojďme si procvičit!

Monitoring Machine Learning Concepts