Vzor automatizace, monitorování a reakce na incidenty

Plně automatizované MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Co je návrhový vzor softwaru?

Obecné, opakovaně použitelné řešení běžně se vyskytujícího problému...

Obrázek technického výkresu.

Automatizovat, monitorovat, reagovat

Schéma procesu: Automatizace, Monitorování, Reakce na incidenty.

Zvyšuje spolehlivost navrhovaných systémů ML

Tři příklady návrhového vzoru v MLOps

Automatické přetrénování modelu
Rollback modelu
Imputace příznaků

Obrázek technického výkresu.

1. Automatické přetrénování modelu

Přehled plně automatizované architektury MLOps.

1. Automatické přetrénování modelu – spouštění predikcí

Přehled plně automatizované architektury MLOps. Zvýrazněna je predikční služba.

1. Automatické přetrénování modelu – monitorování

Přehled plně automatizované architektury MLOps. Zvýrazněn je modul monitorování výkonu.

1. Automatické přetrénování modelu – spouštěč

Přehled plně automatizované architektury MLOps. Zvýrazněna je spouštěcí komponenta.

1. Automatické přetrénování modelu – automatizovaný pipeline

Přehled plně automatizované architektury MLOps. Zvýrazněn je automatizovaný pipeline.

1. Automatické přetrénování modelu – nasazení

Přehled plně automatizované architektury MLOps. Zvýrazněna je komponenta průběžného doručování.

2. Model rollback

Přehled plně automatizované architektury MLOps. Zvýrazněn je automatizovaný pipeline.

2. Model rollback - Validation fail

Přehled plně automatizované architektury MLOps. Zvýrazněny jsou kroky vyhodnocení a validace modelu.

2. Model rollback - Last functional model

Přehled plně automatizované architektury MLOps. Zvýrazněn je registr modelů.

2. Model rollback - Redeployment

Přehled plně automatizované architektury MLOps. Zvýrazněna je komponenta průběžného nasazování.

3. Feature imputation - Data intensive pipeline

Přehled plně automatizované architektury MLOps. Zvýrazněny jsou datové komponenty automatizovaného pipeline.

3. Feature imputation - Data quality

Tabulka s datovými sloupci obsahujícími chybějící hodnoty.

Různá úroveň kvality dat
Některé příznaky mohou klesnout pod práh QA

3. Feature imputation - Defective features

Sloupce z předchozí tabulky jsou zvýrazněny a označeny jako vadné.

Detekce vadných příznaků
Aplikace imputace příznaků

3. Feature imputation - Potential fixes

Numerické hodnoty

$$
- Imputace průměrem/mediánem
- Imputace KNN

Kategorické hodnoty

$$
Imputace nejčastější kategorií
Přidání kategorie „Chybí"

Let's practice!