Är ditt driftsatta AI-system framgångsrikt?

Förstå artificiell intelligens

Maarten Van den Broeck

Senior Content Developer at DataCamp

När ska framgång mätas?

MLOps-metodikens livscykel

När ska framgång mätas?

Mätning av framgång under MLOps-livscykeln

Mäta prestanda offline – noggrannhet

Tränings- och valideringsdata

Mäta prestanda offline – noggrannhet

Träning av en modell

Mäta prestanda offline – noggrannhet

Validering av en modell med testexempel

Mäta prestanda offline – noggrannhet

Jämförelse av prediktioner med faktiska etiketter

Mäta prestanda offline – noggrannhet

Beräkning av noggrannhet

Bortom noggrannhet – fel och andra mått

Felmått i regressionsmodeller

Mått för sök- och rekommendationsmotorer: rankningskvalitet – hur relevant rankingen är för användaren –, mångfald i sökresultat eller rekommendationer, osv.

Rankning av rekommenderade produkter

Mäta framgång i produktion

Modelldegradation: det uppmätta måttets värde försämras över tid

Modelldegradation

Affärsmått: Key Performance Indicators (KPI:er)
- Indikator på organisationens prestanda och framsteg mot mål

Risker: vad kan gå fel?

Möjliga risker inkluderar:

Dataskevhet
Bristande transparens
Etiska problem
Tveksam systemtillförlitlighet
Sårbarhet mot cyberhot

Proof-of-Concept (PoC):

Pilotdemonstrator för att validera genomförbarhet och potentiellt värde + tidig riskidentifiering

Nu kör vi en övning!

Förstå artificiell intelligens