Het patroon voor automatisering, monitoring en incidentrespons

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Wat is een softwareontwerppatroon?

$$

Een algemene, herbruikbare oplossing voor een vaak voorkomend probleem...

$$

$$

Automatiseer, monitor, reageer

$$

$$

• Verbetert de betrouwbaarheid van de ML-systemen die we ontwerpen

Drie voorbeelden van een ontwerppatroon in MLOps

$$

1. Automatisch model hertrainen
2. Modelrollback
3. Feature-imputatie

$$

1. Automatisch model hertrainen

1. Automatisch model hertrainen - voorspellingen draaien

1. Automatisch model hertrainen - Monitoring

1. Automatisch model hertrainen - Trigger

1. Automatisch model hertrainen - Geautomatiseerde pipeline

1. Automatisch model hertrainen - Deployen

2. Modelrollback

2. Modelrollback - Validatie faalt

2. Modelrollback - Laatste werkende model

2. Modelrollback - Opnieuw deployen

3. Feature-imputatie - Data-intensieve pipeline

3. Feature-imputatie - Datakwaliteit

$$

$$

• Variërende datakwaliteit
• Sommige features halen de QA-drempel niet

3. Feature-imputatie - Defecte features

$$

$$

• Faalde features detecteren
• Feature-imputatie toepassen

3. Feature-imputatie - Mogelijke fixes

• Numerieke waarden

  $$

  • Gemiddelde/mediaan-imputatie

  • KNN-imputatie

$$

• Categorische waarden

  $$

• Imputatie met meest voorkomende categorie

• Een "Ontbrekend"-categorie toevoegen

Laten we oefenen!

Volledig geautomatiseerde MLOps